OpenAI - ChatGTP

Ist es vernünftig, wenn eine Spezies sich ungebremst vermehrt und dabei Zigtausende andere Spezies vernichtet? Auch eine ziemlich rhetorische Frage, natürlich ist das nicht vernünftig.

Definiere "vernünftig".

Wieso sollte sie überhaupt irgendwelches Leben außer ihr eigenes wertschätzen wollen?

Wieso sollte sie ihr eigenes wertschätzen?

Aber - ich will ja fair sein, OpenAI - und darum geht es ja hier - hat natürlich ganz andere Pläne.
In einigen Jahren wird angeboten:

Nur das OpenAI keine Gewinne erzielen soll.

Sagen wir mal irgendwann entsteht oder "erwacht" so eine AGI -
eine Maschine die uns überlegen ist.

AGI bedeutet aber nicht, dass sie uns überlegen sein muss.
Das wäre dann wieder sowas in Richtung "Superintelligenz". Wobei "Superintelligenz" offenbar mehr Richtung Science-Fiction ist.

Wenn sie einen Überlebenswillen hat?!?

Woher sollte dieser kommen? 

Der Mensch hat ja auch Dinge dadurch erfunden das er sich das z.B. in der Natur abgeschaut hat
(Klettverschluss, Nanobeschichtung, Flugzeuge (Vögel), Photovoltaik (Photosynthese),....)

Kein Vogel fliegt auf die Art wie ein Flugzeug fliegt. Photovoltaik funktioniert meines Wissens völlig anders als Photosynthese.

Wozu braucht es dann Waffen?

Um sich gegen andere Waffenträger zu verteidigen. 

Hierarchien? Politiker? Geld? Macht? Unterdrückung? Besitz? Eigentum? Reichtum?

Schon auf Aufzählung zeigt einen gewissen Bias.

Hierarchien, Geld und Politik lösen durchaus gewisse Probleme. Der eine sagt: "Nach vorn". Der andere: "Dorthin abbiegen!"
Auf wen hören?

Genauso auch Geld. Deine "Credits" sind nichts anderes als Geld. Nur dass dein Geld anscheinend über eine zentrale Instanz verteilt wird. Und es lässt sich fragen, wie du misst, ob jemand z. B. Zeit mit der Familie verbringt oder Leute hilft.

Könnte in einer von einer KI umgestalteten Gesellschaft in großen Teilen abgeschafft sein.

Ja, kann sein.

Mal schauen, wie das wird.

Kommt drauf an um was es geht - wie reagiert die KI auf eine Anweisung/Bitte wenn dadurch
andere geschädigt werden (könnten).

Die Sprach-AIs werden dir die direkte Bitte verweigern. Es gibt aber hinweise, dass sie es eventuell doch tun könnte.

Jedenfalls ist die Maschine bereit, Regeln zu brechen und darüber zu lügen.
Siehe J. Scheurer, M. Balesni, M. Hobbhahn.

Oder wenn es in seiner "Trainingsphase" oder danach
wenn es "selbstständig" wird - vollkommen gegensätzliches Verhalten von Menschen sehen?

Jetzt sind wir wieder bei Science-Fiction.

Das Training findet nicht auf diese Art statt.

Menschen tun es, Tiere tun es.

Kurz gefragt: Warum denkst du tun die das?

Über kurz oder lang könnte da was auf uns zukommen. Frage ist nur was es ist und wie tiefgreifend
die Auswirkungen sein werden.

Darauf können wir uns einigen.