(27.01.2025, 16:12)Lancelot schrieb: Deepseeks Kosteeinsparung ist im Training. Nicht in der Inference (Benutzung)
Wenn du nach unten scrollst findest du Benchmarks.
https://thezvi.substack.com/p/deekseek-v...ion-dollar
Das denke ich nicht.
Wir könnnen bei den geschlossenen Modellen die Kosten natürlich nur anhand der Preisliste beurteilen (da es da bereits viel Wettbewerb gibt, sollten da keine hohen Margen möglich sein).
https://www.vellum.ai/blog/the-training-...-to-use-it
making it about 27 times cheaper for inputs and nearly 27.4 times cheaper for outputs than OpenAI’s o1 (die chain-of-thought tokens wurden hier wohl vergessen)
https://www.reddit.com/r/LocalLLaMA/comm...vs_o1_and/
R1 is only 4.41x cheaper than o1
https://dubesor.de/benchtable
21.7x cheaper
Der jüngste selfmade Milliardär aller Zeiten, Alexandr Wang, sagt, die hätten heimlich noch 50.000 Nividia H100 gehabt (Musk hat es dann nur wiederholt):
https://economictimes.indiatimes.com/new...738587.cms
Der "open source" Aspekt wird überschätzt, da es sich um 700 Gigabytes Parameter handelt, die auch regelmäßig neu trainiert werden müssten.
Dass AI billiger wird, kann nur gut sein. Man kann jetzt schon auf 3000$ Hardware etwas simulieren, was intelligenter als ein durschnittlicher Mensch redet.
Bald wird man für 50.000$ ein Pflegerobotor oder Lagerroboter oder Verkaufspersonal bauen können.
Es ist klar, dass Japan, Taiwan, Südkorea, China diesen Weg gegen die Überalterung gehen werden statt auf Einwanderung gering Qualifizierter zu setzen.
Es ist das erst Mal, dass eine asiatische Software Firma den globalen Westen überholt. Auch Japan hatte mit Software nie Erfolg (außer etwas Videospiele), als es lange Zeit die zweitgrößte Volkswirtschaft der Welt war. Bisher stand Asien für billige Hardware, die vom Westen aus Kostengründen ausgelagert wurde, um sich Software zu widmen.
https://www.youtube.com/watch?v=EAgdQKPGuU0
DeepSeek AI: What It Means and What Happens Next
4:48
