RE: News und Infos zu KI - Künstliche Intelligenz
| 09.06.2024, 14:58 (Dieser Beitrag wurde zuletzt bearbeitet: 09.06.2024, 15:01 von Lancelot.)
Nochmal. Ich kann ein LLM trainieren. From Scratch. Mit nix als den Daten von Wiki beispielsweise. Und als loss function des base models, trainierst dieses Base model darauf eben die nächsten Wörter vorherzusagen. Das ist ein technischer FAKT. Keine Theorie oder Interpretation.
Das da nicht immer das gleiche raus kommt liegt an einem Parameter mit dem Namen Temperature. Von all den nächst möglichen Worten nimmt er nicht immer das wahrscheinlichste Wort, sondern auch mal das dritte oder vier wahrscheinlichste. Und weil das recursive ist, kommen da sehr unterschiedliche Texte raus.
Das könntest du auch alles wissen, wenn du mal den Artikel von Wolfram lesen würdest, den ich gepostet habe.
Das Chat Modell, das auf Basis des basemodells ein fine tuning erhält, trainiert dann eine komplexere loss function mit viiiiieeel manuellem Aufwand ( Menschen die den Output bewerten). Human in the Loop.
Aber die Sachen sind trivial und gut verstanden. Das ist nicht woran geforscht wird.
Das da nicht immer das gleiche raus kommt liegt an einem Parameter mit dem Namen Temperature. Von all den nächst möglichen Worten nimmt er nicht immer das wahrscheinlichste Wort, sondern auch mal das dritte oder vier wahrscheinlichste. Und weil das recursive ist, kommen da sehr unterschiedliche Texte raus.
Das könntest du auch alles wissen, wenn du mal den Artikel von Wolfram lesen würdest, den ich gepostet habe.
Das Chat Modell, das auf Basis des basemodells ein fine tuning erhält, trainiert dann eine komplexere loss function mit viiiiieeel manuellem Aufwand ( Menschen die den Output bewerten). Human in the Loop.
Aber die Sachen sind trivial und gut verstanden. Das ist nicht woran geforscht wird.
__________________
Forum-Besserwisser und Wissenschafts-Faschist
