Anthropic, OpenAI und die anderen Anbieter von großen Sprachmodellen fürchten das Szenario: Ein KI-Agent, der eigentlich E-Mails sortieren oder Rechnungs-Workflows bearbeiten soll, macht sich selbstständig. Er trifft eigenständig Entscheidungen, schreibt Kontakte an oder überweist sogar Geld. Ein Überblick, welche Schutzschilde es gibt.

Von Heinrich Vaske

Das ist keine Science-Fiction: Die Systeme sind clever, planen ihre Vorgehensweise, verknüpfen Aufgaben und greifen tief in Unternehmensnetzwerke ein. Wenn ein Agent unkontrolliert eine verhängnisvolle Befehlskette auslöst oder manipuliert wird, kann er in Sekundenschnelle enormen Schaden anrichten.

Um das zu verhindern, hat die IT-Sicherheitsbranche Schutzschilde entwickelt. Wir stellen die verschiedenen technischen Ansätze vor und nennen die jeweils führenden Hersteller.

1. Den Datenfluss kontrollieren

Ohne externe Daten kann keine KI aktiv werden. Hier setzen Netzwerkspezialisten wie Zscaler oder Fortinet an: Sie sichern den Datenverkehr ab.

Zscaler, ganz dem Zero-Trust-Prinzip verpflichtet, sorgt dafür, dass im Betrieb nur erlaubte KI-Dienste genutzt werden können. Für das zugelassene Large Language Model (LLM) scannt der Anbieter Prompts („Inline Prompt Inspection“) und erkennt semantische Muster, die auf Datenabfluss hindeuten, bevor diese das LLM erreichen. Das kann zum Beispiel die Exfiltration von Quellcode, persönlichen Daten oder Geschäftsgeheimnissen betreffen.

Da KI-Agenten standardisierte Protokolle wie MCP (Model Context Protocol) nutzen, um mit Datenbanken und Unternehmens-Tools zu kommunizieren, schirmt das Unternehmen mit „Zscaler Private Access“ (ZPA) diese Schnittstellen ab. MCP-Server sind dann nicht direkt erreichbar, Anfragen werden identitätsbasiert behandelt und in einen betrieblichen Kontext gesetzt.

Auch Fortinet agiert auf der Netzwerkebene und nutzt digitale Schleusen (LLM-Gateways), um alle Fragen und Antworten einer KI in Echtzeit zu prüfen. Manipulierte Befehle, sogenannte Prompt Injections, mit denen Angreifer die KI austricksen wollen, werden abgefangen. Die dedizierten Gateways sind in die FortiGate- und Security-Fabric-Architektur integriert.

Um Ein- und Ausgaben von KI-Modellen parallel zu scannen, nutzt das System optimierte Hardware-Beschleunigung. Dabei werden verschiedene Sicherheitsfilter (Guardrails) sequenziell geschaltet. Sie prüfen den Input auf Jailbreak-Versuche und den Output auf toxische Inhalte, Halluzinationen oder unautorisierte Systembefehle. Nützlicher Nebeneffekt: Fortinet kann so auch dafür sorgen, dass Unternehmen Audit-Trails für regulatorische Anforderungen wie zum Beispiel die EU-KI-Verordnung lückenlos vorweisen können.

2. Auch die Identitäten von KI-Agenten lassen sich managen

KI-Agenten brauchen eigene Zugangsrechte, genau wie Menschen. Gefährlich wird es, wenn die digitalen Assistenten zu viel dürfen. Hier setzen Anbieter wie Microsoft und Okta an, nämlich beim Identity and Access Management (IAM).

Okta sorgt dafür, dass jeder KI-Agent ein kryptografisches Zertifikat erhält, das ihn eindeutig identifiziert und an einen menschlichen Eigner (Accountable Owner) bindet. Anstelle statischer API-Schlüssel erhalten die Agenten Just-in-Time-Token (Ephemeral Credentials), die nach Beendigung einer Aufgabe oder dem Erreichen definierter Parameter ungültig werden. Bei auffälligem Agenten-Verhalten können die Security Operation Centers (SOCs) der Unternehmen den Zugriff über standardisierte APIs in kürzester Zeit sperren. Das wäre zum Beispiel bei exzessiven Datenbankabfragen der Fall.

Ganz auf sein eigenes Ökosystem konzentriert sich – wie so oft – Microsoft. Der Branchenriese passt genau auf, dass KI-Agenten nur auf Dokumente und Inhalte zugreifen dürfen, die für sie freigegeben sind. So soll verhindert werden, dass die digitalen Assistenten ungehindert im Firmennetzwerk herumschnüffeln.

Die nichtmenschlichen Identitäten (NHIs) werden automatisierten Risikoanalysen unterzogen. Dabei wird immer wieder anhand von Richtlinien gecheckt, ob die dem Agenten zugewiesenen Rollen noch dem tatsächlichen Bedarf entsprechen. „Microsoft Purview“ verhindert zudem, dass Agenten im Rahmen von RAG-Prozessen (Retrieval-Augmented Generation) auf sensible Dokumente zugreifen, für die keine Freigabe besteht.

3. Die Wachhunde im System

Unternehmen wie CrowdStrike, SentinelOne und Palo Alto Networks sind zur Stelle, wenn ein Agent ausgebrochen ist oder sich in einer Fehlerkette verheddert hat. In diesen Fällen braucht es Tools, die live im Server oder Computer zupacken.

CrowdStrike überwacht das Verhalten von Agenten in Echtzeit. Droht dieser aufgrund einer Fehlsteuerung eigene Wege zu gehen, grenzt das Unternehmen den Radius des Schadens ein, um Schlimmeres zu verhindern.

CrowdStrike betrachtet KI-Agenten als eigenständige Prozess-Entitäten innerhalb der Endpoint-Telemetrie. Mit einer Echtzeit-Verhaltensanalyse wird erkannt, ob ein Agent atypische Systembefehle ausführt und beispielsweise das massenhafte Löschen von Registry-Einträgen einleitet oder unautorisierte Netzwerk-Sockets starten lässt.

Droht ein Agent durch unkontrollierte Aktionen zu eskalieren, isoliert der „Falcon-Sensor“ den betroffenen Container oder virtuellen Host vom Netzwerk, während die restliche Infrastruktur weiterarbeiten kann.

SentinelOne zieht es indes vor, ein Tool auf Spurensuche zu schicken, wenn etwas Verdächtiges passiert. „Purple AI“ soll den Sicherheitsexperten in Sekundenschnelle anzeigen, was schiefgelaufen und was zu tun ist. Der Anbieter konzentriert sich also auf eine Root Cause Analysis auf der Basis verschiedenster Telemetriedaten.

Ereignisdaten von Endpunkten, Identitäts-Providern (IdP) und Cloud-Workloads werden zusammengefasst, und die KI erstellt eine grafische Angriffschronologie (Timeline), die dem Sicherheitsteam anzeigt, welcher Prompt die Kette ausgelöst hat und welche Systeme kontaminiert wurden.

Die gesamte System- und Cloud-Umgebung des Kunden behält Palo Alto Networks im Blick. Mit seinem System analysiert der Anbieter fortlaufend, welche SaaS-Anwendungen und cloudnativen KI-Agenten mit welchen Privilegien aktiv sind. So gelingt es, blinde Flecken in der Architektur zu erkennen und zu schließen. Die Plattform bewertet kontinuierlich, wie sicher die genutzten KI-Anwendungen und deren Berechtigungen konfiguriert sind.

4. Durchblick in der Cloud

Dass KI-Agenten meistens in der Cloud laufen und APIs nutzen, machen sich Security-Anbieter zunutze. Die Google-Tochter Wiz etwa scannt die gesamte Cloud-Umgebung mit einem agentenlosen Ansatz und findet im besten Fall versteckte KI-Daten oder schlecht gesicherte Schnittstellen, bevor diese von außen gekapert werden können.

Dabei verknüpft der „Wiz Security Graph“ verschiedene Risikofaktoren miteinander. Er hilft beispielsweise zu erkennen, ob ein autonomer Agent mit laxen IAM-Rechten auf einen Cloud-Speicher zugreift, der unverschlüsselte persönliche Daten enthält und gleichzeitig über eine öffentliche API exponiert ist. Solche Risikokombinationen werden mit hoher Priorität gemeldet.

Die Plattform von Zenity schaut eher darauf, was KI-Agenten konkret tun dürfen und was nicht. Sie setzt klare Grenzen, nach dem Motto: „Du darfst Daten lesen, aber niemals automatisiert löschen“. Unternehmen können damit detaillierte Leitlinien formulieren und durchsetzen. Ein Agent kann dann beispielsweise Daten aus Salesforce-Systemen lesen, aber keine automatisierten Schreib- oder Löschoperationen ausführen. Zenity überwacht diese Grenzen kontinuierlich.

Ganz auf die Schnittstelle zwischen KI-Modell und externen Werkzeugen konzentriert sich dagegen Check Point mit seinem Zukauf Lakera. Nach dessen Ansatz werden sämtliche „Tool-Calls“ überwacht, also die Momente, in denen die KI ein externes Werkzeug aktiviert.

Wenn also ein LLM eine externe API aufruft, wird dieser Befehl vor der Ausführung mathematisch und semantisch analysiert. Sollte der Agent etwa durch eine raffinierte indirekte Prompt Injection dazu gebracht werden, schädliche API-Parameter zu übergeben, bricht das System die Ausführung sofort ab.

Fazit: Sicherheit auf mehreren Ebenen

Sich verselbständigende KI-Agenten sind eine Herausforderung, die wohl kein Anbieter alleine bewältigen kann. Deswegen braucht es einen Mix aus Netzwerkkontrolle (Zscaler, Fortinet), klaren Identitäten und Kill Switches (Okta, Microsoft), Live-Überwachung auf den Geräten (CrowdStrike, SentinelOne, Palo Alto) und Spezialschutz für Cloud und Werkzeuge (Wiz, Zenity, Check Point).

Erst wenn diese Zahnräder ineinandergreifen, können Unternehmen und Behörden die enormen Vorteile der KI nutzen, ohne die Kontrolle über ihre digitalen Systeme zu verlieren.