offline
Ich bin jetzt nochmal ein bisschen durch die Transformer Modelle. Das hat im Zeitreihen/Signalkontext nicht so um sich gegriffen, wie viele das erwartet hätten. Deshalb war ich da nur bedingt up-to date.
Das ist am Ende auch nur ein Seq2Seq mit Encoder-Decoder und eben der "attention" Trick. Das wird ohne weiteren hirarchischen Überbau nicht wirklich "Intelligent" werden.
Inzwischen habe ich mir auch schon code generieren lassen, der nicht funktioniert hätte (er hat dem sklearn RidgeRegressor eine Funktion angedichtet, die die Klasse nicht hat).
Das ist trotzdem alles extrem beeindruckend. Manchmal wirklich krass. Aber häufig halt auch echt albern. Wenn man ne Idee hat wie es entsteht, nicht überraschend.
Nach wie vor finde ich das hier die bisher die ineteressanteste Anwendung eines Large Language Models (sowas wie ChatGTP). Da ist es dann einfach nur eine Schnittstelle. Ein Baustein eines Systems. So kann dann viel mehr die IDee eines "intelligenten Systems" entstehen.
https://ai.facebook.com/research/cicero/
Das ist am Ende auch nur ein Seq2Seq mit Encoder-Decoder und eben der "attention" Trick. Das wird ohne weiteren hirarchischen Überbau nicht wirklich "Intelligent" werden.
Inzwischen habe ich mir auch schon code generieren lassen, der nicht funktioniert hätte (er hat dem sklearn RidgeRegressor eine Funktion angedichtet, die die Klasse nicht hat).
Das ist trotzdem alles extrem beeindruckend. Manchmal wirklich krass. Aber häufig halt auch echt albern. Wenn man ne Idee hat wie es entsteht, nicht überraschend.
Nach wie vor finde ich das hier die bisher die ineteressanteste Anwendung eines Large Language Models (sowas wie ChatGTP). Da ist es dann einfach nur eine Schnittstelle. Ein Baustein eines Systems. So kann dann viel mehr die IDee eines "intelligenten Systems" entstehen.
https://ai.facebook.com/research/cicero/
__________________
Forum-Besserwisser und Wissenschafts-Faschist
