News und Infos zu KI - Künstliche Intelligenz

Deepseeks Kosteeinsparung ist im Training. Nicht in der Inference (Benutzung)


Wenn du nach unten scrollst findest du Benchmarks. 
https://thezvi.substack.com/p/deekseek-v...ion-dollar

Das denke ich nicht.
Wir könnnen bei den geschlossenen Modellen die Kosten natürlich nur anhand der Preisliste beurteilen (da es da bereits viel Wettbewerb gibt, sollten da keine hohen Margen möglich sein).
https://www.vellum.ai/blog/the-training-...-to-use-it

making it about 27 times cheaper for inputs and nearly 27.4 times cheaper for outputs than OpenAI’s o1 (die chain-of-thought tokens wurden hier wohl vergessen)

https://www.reddit.com/r/LocalLLaMA/comm...vs_o1_and/

R1 is only 4.41x cheaper than o1

https://dubesor.de/benchtable
21.7x cheaper

Der jüngste selfmade Milliardär aller Zeiten, Alexandr Wang, sagt, die hätten heimlich noch 50.000 Nividia H100 gehabt (Musk hat es dann nur wiederholt):
https://economictimes.indiatimes.com/new...738587.cms

Der "open source" Aspekt wird überschätzt, da es sich um 700 Gigabytes Parameter handelt, die auch regelmäßig neu trainiert werden müssten.

Dass AI billiger wird, kann nur gut sein. Man kann jetzt schon auf 3000$ Hardware etwas simulieren, was intelligenter als ein durschnittlicher Mensch redet.
Bald wird man für 50.000$ ein Pflegerobotor oder Lagerroboter oder Verkaufspersonal bauen können.
Es ist klar, dass Japan, Taiwan, Südkorea, China diesen Weg gegen die Überalterung gehen werden statt auf Einwanderung gering Qualifizierter zu setzen.

Es ist das erst Mal, dass eine asiatische Software Firma den globalen Westen überholt. Auch Japan hatte mit Software nie Erfolg (außer etwas Videospiele), als es lange Zeit die zweitgrößte Volkswirtschaft der Welt war. Bisher stand Asien für billige Hardware, die vom Westen aus Kostengründen ausgelagert wurde, um sich Software zu widmen.

https://www.youtube.com/watch?v=EAgdQKPGuU0
DeepSeek AI: What It Means and What Happens Next
4:48

OpenAI benötigt frische Milliarden - Investorenrunde gestartet

Der Entwickler des KI-Chatbots ChatGPT, OpenAI, startet auf der Suche nach 40 Milliarden US-Dollar an frischem Kapital eine weitere Investorenrunde. Der Wert des Unternehmens würde dadurch auf 340 Milliarden Dollar steigen, wie das "Wall Street Journal" berichtete. Laut "Financial Times" hat das japanische Unternehmen Softbank bereits 15 bis 25 Milliarden Dollar in Aussicht gestellt.

OpenAI hatte erst vor drei Monaten seine vorherige Finanzierungsrunde abgeschlossen. Anschließend wurde das Unternehmen mit 157 Milliarden Dollar bewertet. Allerdings hatte diese Woche erst das chinesische Unternehmen Deepseek mit einem leistungsstarken neuen Chatbot, der zu einem Bruchteil der Kosten seiner US-Konkurrenten entwickelt wurde, den US-Tech-Sektor erschüttert.


https://www.n-tv.de/wirtschaft/der_boers...29559.html

Die Frage, wo DeepSeek die Daten zum Training her hatte, hatte ich mich auch gleich gefragt.

https://www.forbes.com/sites/siladityara...technique/

Es wäre naheliegend.

Mit 340 Mrd und angenommenen 2000 Mitarbeitern würde die Bewertung bei 170 Mio $ pro Mitarbeiter liegen.

Ich hab mal geschrieben, Nvidia läge bei 20 Mio $ pro Mitarbeiter, niemand hat den krassen Fehler bemerkt, es waren natürlich 200 Mio $ pro Mitarbeiter, das all time high waren 240 Mio $ pro Mitarbeiter:

mit hoher Marge wie NVDA. Wobei dort die Bewertung bei 20 Mio $ pro Mitarbeiter liegt.

Kann jemand noch mehr bieten? Beteiligungen, wo ein paar Leute ein Portfolio verwalten, gelten nicht, es muss schon was produziert werden.
Renaissance Technologies dürfte deutlich unter 240 Mio $ pro Mitarbeiter liegen, ist aber auch nicht notiert.

Ich finde diese Kennzahl interessant, um nach Wachstumsfirmen zu sieben.

Die kleineren HFT MMs sind wild
 Janestreet... keine Bewertung..So um die 2500 Mitarbeiter... gerne 10 Milliarden revenue im Jahr. Bonus für Juniors von über 1.5 Mio sind keine Seltenheit.