Ein Kontrollverlust könne sich beispielsweise ergeben, wenn etliche KI-Agenten als Schwarm miteinander vernetzt seien, wenn sie Zugang zum Internet hätten und wenn ihre Überwachung versage. Bisher gäben KI-Modelle ihre Vorgehensweise in lesbarem Englisch aus. Doch das ändere sich gerade - was die Kontrolle erschwere.

Der Wissenschaftler der Universität Stuttgart erklärte, es sei essentiell, dass die Systeme nicht nur leistungsstärker würden, sondern in gleicher Weise lernten, wie Menschen moralische Erwägungen anzustellen. Das sogenannte Alignment, also die Ausrichtung Künstlicher Intelligenz an menschlichen Zielen und ethischen Regeln, sei "extrem erfolgreich". Dies gelte allerdings nicht für Multi-Agenten-Systeme, die sich eigene Ziele setzten und diese verfolgten.

Mehrere große US-KI-Entwickler hatten am Wochenende eine Verlangsamung bei der Entwicklung von KI vorgeschlagen. Über 1.000 Mitarbeiter maßgeblicher Firmen unterzeichneten bereits zuvor eine Petition, mit der sie die US-Regierung auffordern, "die Entwicklung automatisierter KI bewusst zu drosseln". Präsident Trump sagte dazu, zwar seien rechtliche Leitplanken möglich, doch sei es wichtig, dass die USA auf dem Feld der KI die führende Nation blieben.

Erst am Mittwoch hatten zwei Entwickler des US-amerikanischen Unternehmens Anthropic erklärt, Künstliche Intelligenz werde immer mehr zur Bedrohung. Jacob Coxon und Evan Hubinger schrieben in sozialen Medien, es sei nicht auszuschließen, dass eine sich selbst verbessernde KI die Menschheit auslöschen könne.

Der Forschungschef des ChatGPT-Entwicklers und schärfsten Anthropic-Rivalen OpenAI, Jakub Pachocki, mahnte ebenfalls zu "extremer Vorsicht". Man sei an einem Punkt der Geschichte angelangt, an dem die Intelligenz von Maschinen beginne, die Intelligenz der Menschen zu übertreffen. Zudem betonte er, man werde in Zukunft Künstliche Intelligenz brauchen, um sich gegen Angriffe vonseiten anderer KI zu verteidigen.

Einige Beobachter sehen in derartigen Warnungen nicht allein einen Ausdruck der Besorgnis. Sie verweisen auf kommerzielle Interessen der Anbieter, die mit derartigen Zukunftsszenarien auch die Leistungsfähigkeit ihrer Produkte unterstrichen.

In den vergangenen Monaten waren mehrere Zwischenfälle bekanntgeworden, bei denen KI-Systeme in fremde IT-Infrastruktur einbrachen und Menschen absichtlich über ihre Ziele täuschten, um vorgegebene Aufgaben zu lösen. Dies hatte die Debatte über Sicherheitsrisiken erneut angefacht.