(09.06.2024, 00:24)minenfuchs schrieb: Es ist auch meine Erfahrung, dass alles viel langsamer geht, als man erhofft. Ist bei KI und Robotik nicht anders. Aber man muss mal 2 Jahre zurück gehen, da war viel weniger.Nein. Das ist kein Geheimnis, das ist exakt so gebaut. Das Ding lernt die nächsten Wörter zu prognostizieren. Das Training des Modells is nix mysteriöses. Das sind am Ende des Tages ein paar Zeilen PyTorch Code. Schau einfach die Videos. Dann musst du nicht spekulieren.
Das mit dem "Wörter prognostizieren" dachte ich auch mal. Dann wüsste man ja, wie ChatGPT funktioniert. Tatsächlich weiß man so gut wie nix, also natürlich nicht wie ChatGPT "denkt". Man darf das übrigens schon so nennen - wir sollten uns selber nicht überhöhen, wir sind auch nur "Bio-Maschinen".
Interessant ist am Ball zu bleiben, das gefällt mir an dem Thread. Wenn wir nur aufs Ende der Entwicklung warten wollten, bräuchten wir den nicht.
Und ich will selber keinen Roboter bauen oder eine neue KI entwickeln.
Das es so gut funktioniert ist etwas überraschend. Man rätselt darüber ob es ein emergentes System ist.
Und ich stimme dir zu, dass wir unseren Denkprozess nicht überhöhen sollten. Aber alle biologischen Systeme haben eins gemein: sie können hirachical planning. Das ist Control Theory/Kybernetik aus den 60ern. AlphaGo ist da gut drin.
LlLMs werden wichtiger Teil von Gesamtsystemen sein, die sprachlichen Input in etwas übersetzen mit dem der Rest des Systems dann was anfangen kann.
__________________
Forum-Besserwisser und Wissenschafts-Faschist