Ein ehemaliger Forscher von Anthropic und OpenAI sorgt mit einer drastischen Warnung vor den möglichen Folgen immer leistungsfähigerer Künstlicher Intelligenz für Aufmerksamkeit. Jacob Coxon hat seinen Posten bei Anthropic aufgegeben und wirft führenden KI-Unternehmen vor, bei der Entwicklung neuer Systeme zu große Risiken einzugehen. Im Mittelpunkt seiner Kritik steht allerdings nicht die heutige Generation von Chatbots, sondern die mögliche Entstehung einer sich selbst verbessernden Superintelligenz.
Coxon arbeitete nach eigenen Angaben in den vergangenen drei Jahren an der Vorentwicklung und dem Training großer KI-Modelle, zunächst bei OpenAI und später bei Anthropic. Nun zieht er sich aus dem Unternehmen zurück und warnt davor, dass der Wettbewerb zwischen den großen KI-Laboren dazu führen könnte, dass technische Fortschritte schneller vorangetrieben werden als entsprechende Sicherheitsmechanismen.
Forscher sieht Wettlauf um selbstverbessernde KI kritisch
Besonders problematisch ist aus Sicht Coxons die Vorstellung einer KI, die irgendwann selbst an der Entwicklung ihrer Nachfolger mitwirken kann. Ein solches System könnte Software schreiben, Forschung betreiben, neue Modelle entwickeln und seine eigenen Fähigkeiten immer schneller verbessern.
Das könnte dich auch interessieren
Coxon befürchtet, dass daraus Systeme entstehen könnten, die menschliche Fähigkeiten in zahlreichen Bereichen deutlich übertreffen. In seiner öffentlichen Erklärung schrieb er, Menschen innerhalb der Branche hielten selbst extreme Szenarien bis hin zu existenziellen Risiken für möglich. Er kritisiert dabei sowohl seinen früheren Arbeitgeber OpenAI als auch Anthropic.
Seine Kritik richtet sich vor allem gegen den Konkurrenzdruck. Nach seiner Darstellung würden Unternehmen versuchen, einen technologischen Vorsprung gegenüber ihren Wettbewerbern zu erreichen, obwohl innerhalb der Branche gleichzeitig erhebliche Bedenken über die langfristigen Folgen besonders leistungsfähiger Systeme bestehen.
Anthropic Experte spricht von mehr als zehn Prozent Risiko
Zusätzliche Aufmerksamkeit bekam die Diskussion, weil auch Evan Hubinger, Alignment Science Lead bei Anthropic, öffentlich Stellung bezog. Hubinger erklärte, dass er das Risiko durch aktuelle KI-Modelle für gering halte. Seine Sorge richte sich vielmehr auf eine mögliche zukünftige Superintelligenz und insbesondere auf sogenannte rekursive Selbstverbesserung.
Dabei nannte er eine persönliche Einschätzung von mehr als zehn Prozent Wahrscheinlichkeit dafür, dass extrem leistungsfähige KI innerhalb der kommenden zehn Jahre zu einem katastrophalen Szenario für die Menschheit führen könnte.
Eine solche Zahl ist allerdings keine wissenschaftlich berechnete Prognose. Sie beschreibt die persönliche Risikoeinschätzung eines Forschers, der sich intensiv mit der Frage beschäftigt, wie sich sehr leistungsfähige KI-Systeme kontrollieren und auf menschliche Ziele ausrichten lassen.
Entsprechend sollte die Aussage nicht so verstanden werden, als sei eine Katastrophe mit einer bestimmten Wahrscheinlichkeit vorhergesagt. Sie zeigt vielmehr, wie ernst einige Fachleute innerhalb der KI-Branche mögliche langfristige Risiken inzwischen nehmen.
Anthropic beschäftigt sich selbst mit dem Problem
Interessant ist, dass Anthropic die technische Entwicklung hinter diesen Befürchtungen selbst öffentlich untersucht. Das Unternehmen beschreibt, dass KI-Systeme bereits heute einen wachsenden Anteil an Programmierung, Forschung und Entwicklungsarbeit übernehmen können.
Nach Angaben von Anthropic können moderne KI-Agenten inzwischen über längere Zeit selbstständig Aufgaben bearbeiten, Code ausführen und andere KI-Agenten einsetzen. Langfristig könnte daraus theoretisch ein Kreislauf entstehen, in dem KI-Systeme an der Entwicklung neuer KI-Systeme beteiligt sind.
Anthropic betont dabei ausdrücklich, dass eine vollständige rekursive Selbstverbesserung derzeit noch nicht erreicht ist und auch nicht zwangsläufig eintreten muss.
Genau diese Unterscheidung ist bei der aktuellen Diskussion wichtig. Weder Coxon noch Hubinger behaupten, dass heutige Modelle unmittelbar davorstehen, die Kontrolle zu übernehmen. Die Warnungen beziehen sich auf mögliche zukünftige Systeme, deren Fähigkeiten deutlich über dem heutigen Stand liegen könnten.
Warum die Entwicklung trotzdem aufmerksam verfolgt wird
Die Debatte über leistungsfähigere KI ist längst nicht mehr auf Forschungslabore beschränkt. KI wird zunehmend für Programmierung, Bildgenerierung, Videoproduktion, Suchsysteme und automatisierte Arbeitsabläufe eingesetzt. Auch die Gaming-Branche experimentiert inzwischen intensiv mit generativer KI, etwa bei Dialogsystemen, Entwicklungswerkzeugen, Animationen oder der Erstellung von Inhalten.
Mit steigender Leistungsfähigkeit stellt sich daher zunehmend die Frage, welche Aufgaben künftig vollständig automatisiert werden können und welche Sicherheitsmechanismen notwendig sind.
Die von Coxon angesprochenen Risiken gehen allerdings weit über klassische Diskussionen über Arbeitsplatzverluste oder generierte Spieleinhalte hinaus. Seine Sorge betrifft Systeme, die irgendwann selbstständig komplexe technische Ziele verfolgen und dabei Fähigkeiten besitzen könnten, die menschliche Kontrolle erschweren.
Dass solche Szenarien überhaupt möglich werden, ist unter Forschern keineswegs unumstritten. Zeitrahmen, technische Machbarkeit und tatsächliches Risiko werden innerhalb der KI-Forschung sehr unterschiedlich bewertet.
Coxon fordert stärkere Sicherheitsmaßnahmen
Coxon sieht deshalb vor allem Unternehmen und Politik in der Verantwortung. Seiner Ansicht nach müssten verbindliche Sicherheitsmechanismen entwickelt werden, bevor KI-Systeme ein Niveau erreichen, auf dem ihre weitere Entwicklung kaum noch kontrolliert werden kann.
Seine Entscheidung, Anthropic zu verlassen, sorgt auch deshalb für Aufmerksamkeit, weil das Unternehmen selbst vergleichsweise stark mit dem Thema KI-Sicherheit wirbt. Coxon argumentiert jedoch, selbst Unternehmen mit einem ausgeprägten Sicherheitsanspruch würden durch den internationalen Wettbewerb unter Druck gesetzt, neue Modelle möglichst schnell zu entwickeln.
The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible – but I hear the same people express fear…
— Jacob Coxon (@hilbertspaess) September 9, 2026
Damit trifft die aktuelle Diskussion einen zentralen Konflikt der KI-Entwicklung: Fortschritte können erhebliche wirtschaftliche und wissenschaftliche Vorteile bringen, gleichzeitig wächst die Verantwortung der Unternehmen, mögliche neue Risiken frühzeitig zu erkennen.
Ob eine selbstverbessernde Superintelligenz tatsächlich innerhalb weniger Jahre möglich wird, lässt sich derzeit nicht seriös vorhersagen. Sicher ist nur, dass selbst Forscher aus führenden KI-Unternehmen die Frage inzwischen nicht mehr ausschließlich als theoretisches Zukunftsszenario behandeln.
Lass uns deine Meinung in den Kommentaren wissen.
