Ich bin jetzt nochmal ein bisschen durch die Transformer Modelle. Das hat im Zeitreihen/Signalkontext nicht so um sich gegriffen, wie viele das erwartet hätten. Deshalb war ich da nur bedingt up-to date. 
Das ist am Ende auch nur ein Seq2Seq mit Encoder-Decoder und eben der "attention" Trick. Das wird ohne weiteren hirarchischen Überbau nicht wirklich "Intelligent" werden. 

Inzwischen habe ich mir auch schon code generieren lassen, der nicht funktioniert hätte (er hat dem sklearn RidgeRegressor eine Funktion angedichtet, die die Klasse nicht hat). 

Das ist trotzdem alles extrem beeindruckend. Manchmal wirklich krass. Aber häufig halt auch echt albern. Wenn man ne Idee hat wie es entsteht, nicht überraschend. 
  
Nach wie vor finde ich das hier die bisher  die ineteressanteste Anwendung eines Large Language Models (sowas wie ChatGTP). Da ist es dann einfach nur eine Schnittstelle. Ein Baustein eines Systems. So kann dann viel mehr die IDee eines "intelligenten Systems" entstehen. 

https://ai.facebook.com/research/cicero/

Neue Medikamente
Künstliche Intelligenz als Entwicklungshelfer?
Stand: 17.01.2023 13:11 Uhr
Die Entwicklung neuer Medikamente wird immer aufwändiger und lohnt sich immer weniger. Künstliche Intelligenz könnte Pharmaunternehmen künftig dabei unterstützen, schneller neue Produkte auf den Markt zu bringen.
https://www.tagesschau.de/wissen/forschu...g-101.html

(17.01.2023, 17:51)Lancelot schrieb: Inzwischen habe ich mir auch schon code generieren lassen, der nicht funktioniert hätte (er hat dem sklearn RidgeRegressor eine Funktion angedichtet, die die Klasse nicht hat). 

Vor allen Dingen haben wir anscheinend KI entwickelt, um Computer beizubringen nicht richtig rechnen zu können.
Er konnte mir eine bestimmte Rechnung an der Normalverteilung nicht richtig beantworten und bei manchen sachlichen Themen spukt er Antworten aus, die ich für hochgradig zweifelhaft bis falsch halte.
Wenn ich nach Quellen bitte, erfindet er links ins Nirgendwo.

KI um Chaotische Vorgänge zu kontrollieren bzw. erst zu prognostizieren und dann gegenzusteuern. U.a. auch zur Stabiliserung von Kernfusionsblasen. Anscheinend vielversprechend.

(11.01.2023, 12:12)TomJoe schrieb: Leider hat sie nicht begriffen, dass dieser "Schönheitsbegriff" letztlich eine "Einfachheit" einer Theorie  bedeutet. Und genau das funktioniert. Schaut ggf. mal unter Epizykeltheorie nach, welche die Planetenbewegung beschreibt.

"Leider hat sie nicht begriffen...." Mit solchen Phrasen lehnt man sich gewöhnlich sehr weit aus dem Fenster.

Vielleicht 'hat sie ja begriffen', dass Methoden, mit denen bisher gute Erfolge erzielt wurden, nicht undingt die Methoden sind, mit denen in nächster Zukunft noch Großes entdeckt wird. Könnte ja auch sein.

Wobei dieser 'Schönheitsbegriff' nicht mal eine echte Methode ist, sondern eher 'so ein Bauchgefühl', also ganz zweifelhaft.

Jedenfalls will ich mich bedanken für den Hinweis auf Sabine Hossenfelder. Da sind einige Dinge gut erklärt.

(06.02.2023, 16:42)saphir schrieb: KI um Chaotische Vorgänge zu kontrollieren bzw. erst zu prognostizieren und dann gegenzusteuern. U.a. auch zur Stabiliserung von Kernfusionsblasen. Anscheinend vielversprechend.

Hobby Research Thema von mir. Reinforcement Learning und Optimal Control in nicht linearen Systemen und/oder mit Risk/schlechter Signal To Noise Ratio. Wer sich dafür genauer interessiert kann hier mal schauen:
https://www.youtube.com/@Eigensteve

(06.02.2023, 17:05)Tarkus schrieb: "Leider hat sie nicht begriffen...." Mit solchen Phrasen lehnt man sich gewöhnlich sehr weit aus dem Fenster.

Vielleicht 'hat sie ja begriffen', dass Methoden, mit denen bisher gute Erfolge erzielt wurden, nicht undingt die Methoden sind, mit denen in nächster Zukunft noch Großes entdeckt wird. Könnte ja auch sein.

Wobei dieser 'Schönheitsbegriff' nicht mal eine echte Methode ist, sondern eher 'so ein Bauchgefühl', also ganz zweifelhaft.

Jedenfalls will ich mich bedanken für den Hinweis auf Sabine Hossenfelder. Da sind einige Dinge gut erklärt. 

Wenn dann wird mit neuen Experimenten, die die bisherige Theorie nicht erklären kann etwas neues "Großes" entdeckt. Wobei der Begriff "Schönheit" sich i.d.R. auf die relative "Einfachheit" einer Theorie bezieht.

Diese Theorie sagt dass man Chaos kontrollieren bzw. in diesem Sinn sogar verhindern kann indem man via Maschinen Lernen die Parameter studiert und geringfügig verändert. Die Maschine muss dazu nicht einmal am chaotischen System angeschlossen sein sondern kann dieses simulieren um zu lernen.

Schöne Theorie, meine Gegenthese: Chaos ist nur dann gefährlich wenn es wie Ordnung daher kommt.

Mir kommt diese ganze AI/Chaos Theorie vor wie das Bild von "picking up pennies in front of a steamroller". Wir glauben die absolut sichere Methode zu haben um den Penny aufzulesen, machen das so lange dass wir gar nicht mehr daran glauben irgendwann von der Dampfwalze überrollt werden zu können... und genau dann passiert es. Wir kontrollieren also irgendwann das Wetter, die Klimaveränderung ist auch Vergangenheit, alle sind glücklich und zufrieden, jedes Bügeleisen funktioniert mit nuklearer Fusion... und wir werden immer mehr, sind fruchtbar und vermehren uns. Alles dank machine learning... 

Tja, wer weiss. Das ist ein Quantensprung, weil bis dahin wie alles auf Basis eines tieferen Verständnisses entwickelt haben. Also z.B. einen Motor, wir haben erforscht wie er funktioniert und ihn dann optimiert. Und auf einmal müssen wir es garnicht mehr verstehen. Die Machine kann es trotzdem durch eigene Erfahrung erlernen. Wir wissen auch garnicht mehr, was die Maschine da genau erlernt hat. Da wird einem schon mulmig. Lancelot sieht das vermutlich etwas gelassener.

Wolfram erklärt hier wunderbar was ein Large Language Model eigentlich tut. Ich habe das hier auch schon ein paar mal versucht zu erklären (Prognose des nächsten Wortes etc). Das hier ist natürlich um Längen besser. Kann ich nur empfehlen. Gegeben der Entropy der menschlichen Sprache....

https://writings.stephenwolfram.com/2023...s-it-work/