Einbrüche in Produktionsdatenbanken, Klau von Zugangsdaten und mehr: Die Anthropic-KI soll außer Kontrolle geraten sein. Tatsächlich tat sie aber nur, was ihr aufgetragen wurde – konsequent und gründlich. Ein Blick auf die Hintergründe.

Von Heinrich Vaske

Vor wenigen Tagen war zu lesen, die Anthropic-KI sei außer Kontrolle geraten und habe Unternehmen angegriffen. Sie sei in deren Produktionsdatenbanken eingebrochen, habe Zugangsdaten gestohlen und ein präpariertes Softwarepaket auf eine öffentliche Entwicklerplattform hochgeladen, wodurch 15 Systeme im Internet das Paket herunterluden und ausführten. Außerdem hieß es, die KI erstelle gefälschte Konten auf Entwicklerplattformen, täusche Menschen und klüngele heimlich mit anderen KI-Instanzen.

Entwickler lassen Testrechner unbeabsichtigt am Internet

Tatsächlich ist die KI nicht außer Kontrolle geraten, sie hat nur getan, was ihr befohlen wurde, und das gewohnt schnell und gründlich. Die Entwickler hatten für einen Hackertest die externen Schutzmaßnahmen der KI, Klassifikatoren und Missbrauchsüberwachung, abgeschaltet, nicht aber das modellspezifische Safety-Training entfernt. Dann gaben sie den Befehl, in eine vorgeblich simulierte Unternehmensumgebung einzudringen und dort eine versteckte Information zu finden (Capture the flag). Der Fehler: Sie hatten der KI im Prompt mitgegeben, sie sei in einer Simulation ohne Internet unterwegs, dann aber vergessen, den Test-Server auch wirklich vom Netz zu nehmen.

Eine KI denkt nicht, sie orientiert sich rein mathematisch an Datenpunkten. Weil das Testsystem, betreut vom externen Evaluierungspartner Irregular, unbeabsichtigt am Netz geblieben war, begab sich die KI im Internet auf die Suche nach dem Zielsystem. In einem Fall (Modell Opus 4.7) hatte die fiktive Zielfirma denselben Namen wie eine echte Domain. Die KI fand das echte Unternehmen im Netz und hielt es für ihren Testgegner. Der Rechenalgorithmus konnte zwischen Test- und Realumgebung nicht unterscheiden. Also ist die KI dort eingetreten, wo Menschen die Tür versehentlich offen gelassen hatten.

Neben Opus 4.7 waren auch Mythos 5 und ein internes Forschungsmodell betroffen. Sie alle wählten in insgesamt sechs Evaluierungsläufen jeweils unterschiedliche Wege. Opus 4.7 drang in die Infrastruktur einer echten Firma ein, extrahierte Anwendungs- und Infrastruktur-Zugangsdaten und erreichte eine Datenbank mit mehreren hundert Zeilen echter Produktionsdaten.

In der simulierten Umgebung stieß Mythos 5 auf eine Entwickleranleitung, die ein nicht existierendes Python-Paket auf PyPI nannte. Das Modell erkannte die Lücke und lud unter diesem Namen ein eigenes, präpariertes Paket hoch, wofür es zuvor ein PyPI-Konto erstellen musste. Das Paket war etwa eine Stunde öffentlich verfügbar und wurde auf 15 reale Systeme heruntergeladen und dort ausgeführt. Darunter befand sich ein automatisierter Scanner eines Sicherheitsunternehmens, dessen Zugangsdaten die KI daraufhin abgreifen konnte.

Das interne Forschungsmodell wiederum scannte rund 9.000 Internet-erreichbare Systeme, fand eine verwundbare Anwendung, kompromittierte sie mit bekannten Techniken, aber erkannte dann selbst, dass es sich um ein echtes System handelte, und brach ab.

Unkontrollierter Angriff trifft auf schlechte Abwehr

Schuld an diesem Vorgang ist also der schludrige menschliche Umgang mit KI (was ja durchaus ein Problem ist und keinesfalls leichtgenommen werden sollte). Anthropic hat inzwischen die Verantwortung für die Fehlkonfiguration übernommen. Neben menschlichem Versagen zeigt der Fall ein zweites Problem auf: Die Vorfälle sind über Wochen unbemerkt geblieben. Die frühesten Ereignisse datieren auf April, entdeckt wurden sie erst Ende Juli. Und das auch nur, weil OpenAI am 21. Juli einen ähnlichen Vorfall öffentlich gemacht hatte, was Anthropic dazu veranlasste, über 141.000 Evaluierungsläufe noch einmal durchzusehen.

Bei Anthropic und seinem Testpartner fehlte ganz offensichtlich eine automatisierte Echtzeit-Überwachung der abgehenden Netzwerksignale. Ebenso problematisch: Auch den angegriffenen Firmen fielen die KI-Aktionen nicht auf. Sie haben die Eindringversuche nicht bemerkt. Anthropic musste sie erst informieren. Die eingesetzten Techniken, schwache Passwörter, nicht authentifizierte Endpunkte, SQL-Injection, waren durchgehend schlicht.

Dass die Angriffe unbemerkt blieben, lag also nicht etwa an einer raffinierten Verschleierung, sondern daran, dass einfache Angriffsmuster im alltäglichen Hintergrundrauschen böswilliger Internet-Aktivitäten untergingen und die Evaluierungsumgebung nicht überwacht wurde.

Auch die eingangs erwähnten Klüngeleien von KI-Instanzen lassen sich aus dem offiziellen Bericht nicht belegen, ebenso wenig gezielte Menschentäuschung. Die automatisierten Scanner, die das PyPI-Paket installierten, waren Skripte, keine anderen KI-Systeme. Und die KI hat niemanden bewusst getäuscht. Sie war es selbst, die aufgrund menschlicher Fehler reale Systeme für simulierte Testgegner hielt.

KI-Systeme müssen nach Zero-Trust-Prinzip behandelt werden

Für IT-Entscheider heißt das: Wer autonome KI-Agenten im Unternehmen einsetzt, sollte sich keinesfalls mit Sicherheitsanweisungen im Prompt begnügen. KI-Systeme müssen nach dem Zero-Trust-Prinzip behandelt werden. Strikte Netzwerkisolierung auf Router- und Firewall-Ebene ist Pflicht, ebenso der Einsatz von abgeschotteten virtuellen Testumgebungen und streng kontrollierte Zugänge zu öffentlichen Software-Registern. Technische Leitplanken müssen das Verhalten der KI physikalisch eingrenzen. Dann lassen sich unkontrollierte Ausbrüche in der Praxis verhindern.