Die erste Welle der KI, in der Unternehmen sich Texte zusammenfassen oder Codebausteine generieren ließen, ist vorüber. Der Übergang zu autonomen Multiagenten-Systemen hat begonnen. Die Anforderungen an Cybersicherheit und Governance sind hoch.

Von Heinrich Vaske

Die jetzt entstehenden Architekturen sind von autonom agierenden digitalen Entitäten geprägt. KI-Agenten analysieren komplexe Problemstellungen, zerlegen diese selbständig in Unteraufgaben, wählen externe Werkzeuge aus, führen API-Aufrufe durch und interagieren im Verbund mit anderen spezialisierten Agenten, um geschäftskritische Prozesse von Ende zu Ende auszuführen.

Für CIOs und CISOs verändern sich damit die Sicherheits- und Governance-Architekturen grundlegend. Die bisherige Annahme, dass Software sich regelkonform verhält und Menschen die Datenflüsse und Transaktionen initiieren, gilt nicht mehr. Damit sind auch die bisherigen Rollen- und Rechtekonzept sowie die IT-Sicherheitslösungen veraltet. Die heutigen Firewall-, Data-Loss-Prevention- (DLP-) und Endpoint-Detection-Systeme wurden entwickelt, um deterministischen Code zu überwachen und menschliche Nutzer zu authentifizieren.

Wenn es aber KI-Agenten sind, die Entscheidungen treffen, Systemzugriffe anfordern und untereinander – in rasanter Geschindigkeit – kommunizieren, stoßen die etablierten Schutzmechanismen an ihre Grenzen. Unternehmen müssen eine Sicherheits- und Governance-Architektur entwickeln, die einen Rahmen schafft, damit autonome Multiagenten-Ökosysteme beherrschbar und skalierbar sind.

Semantische Flexibilität wird zur Angriffsfläche

Mit dem Einzug von Multiagenten- Systemen wird die Angriffsfläche viel größer. Bislang zielten Cyberangriffe überwiegend auf das Ausnutzen technischer Schwachstellen in der Softwarelogik ab oder auf unvorsichtige Anwender, die sich mit Social-Engineering-Mitteln austricksen ließen. Angreifer, die Agentensysteme ins Visier nehmen, nutzen dagegen die semantische Flexibilität und die Interpretationsfähigkeit von Sprachmodellen aus.

Zu einem zentralen Risiko wird nun das Phänomen der Indirect Prompt Injection: Angreifer schleusen manipulative Instruktionen in unstrukturierte Daten ein, beispielsweise in eine Kunden-E-Mail, ein PDF-Dokument oder eine externe Webseite. Verarbeitet der Agent diese Daten, kann die unerbetene Anweisung die ursprüngliche Systeminstruktion überschreiben (Agent Hijacking).

Der Agent interpretiert dann den Befehl des Angreifers als legitimen Arbeitsauftrag und führt daraufhin unerwünschte Aktionen aus. Auf diese Weise lassen sich interne Datenbanken auslesen, Systemkonfigurationen verändern oder vertrauliche Informationen an externe Server senden.

In vernetzten Umgebungen mit kollaborierenden Agenten können schnell Kaskadeneffekte entstehen. Dann wertet beispielsweise ein Analytics-Agent Finanzdaten aus, übergibt seine Ergebnisse an einen Dokumenten-Agenten, der wiederum einen Kommunikations-Agenten mit der Verteilung beauftragt. Wird ein Glied in dieser Kette kompromittiert oder unterliegt ein Agent einem Goal Misalignment, pflanzt sich der Fehler bzw. die Manipulation durch das gesamte System fort.

So könnte ein Agent, der Lesezugriff auf vertrauliche Personaldaten hat, diese an einen nachgelagerten Agenten übergeben. Sind dessen Sicherheitsschranken schwach ausgelegt oder der Agent verfügt über eine Schnittstelle zum öffentlichen Internet, steigt das Risiko stark. Der Schadensradius (Blast Radius) eines Sicherheitsvorfalls wächst exponentiell.

Um den Schadensradius in einem Geflecht von autonomen Entitäten einzuschränken, sind neue Schutzkonzepte erforderlich. Die traditionellen Zonenmodelle einer Netzwerkarchitektur können die dynamischen Beziehungen zwischen Agenten nicht adäquat abbilden.

Strikte Identitätsprüfung für Agenten

Unternehmen, die Multiagenten-Systeme nutzen und beherrschen wollen, werden ihre Konzepte für Identitäts- und Zugriffsmanagement grundlegend überdenken müssen. Es würde ein unkalkulierbares Sicherheitsrisiko bedeuten, wären Agenten mit statischen API-Schlüsseln, langlebigen Service-Accounts oder gar den Identitäten menschlicher Benutzer ausgestattet. KI-Agenten müssen daher als eigenständige Klasse von nicht-menschlichen Identitäten (Non-Human Identities = NHIs) behandelt werden, die einer strikten, kontinuierlichen Identitätsprüfung unterliegen.

Das Prinzip der minimalen Rechte (Least Privilege) hat im Zeitalter der KI-Agenten Bestand, muss aber dynamisiert werden. Anstatt einem Agenten dauerhafte Schreib- und Leserechte für eine gesamte Datenbank einzuräumen, darf die Rechtevergabe nur noch kontextbezogen und flüchtig (Just-in-Time und Just-Enough-Access) zur Laufzeit erfolgen.

Wenn ein Logistik-Agent beispielsweise für die Abwicklung eines spezifischen Vorgangs Zugriff auf Kundendaten benötigt, erhält er exakt für die Dauer dieser einen Transaktion ein kryptografisch gesichertes, zeitlich limitiertes Token. Nach Abschluss des Arbeitsschritts verfällt die Berechtigung sofort.

Auch die Kommunikation zwischen den Agenten (A2A) verlangt neue Authentifizierungs- und Autorisierungsstandards. Der empfangende Agent muss jederzeit nachvollziehen können, ob der anfragende Agent tatsächlich die Entität ist, die er vorgibt zu sein. Ebenso muss er verifizieren können, ob der aktuelle Ausführungszustand des anfragenden Agenten vertrauenswürdig ist und in wessen Auftrag (Delegationskette) er handelt. Hier können erweiterte Zero-Trust-Architekturen Entlastung schaffen.

Interaktionen zwischen den Agenten müssen zudem kryptografisch signiert und über gegenseitige TLS-Verbindungen (mTLS) sowie spezifische OAuth-Erweiterungen für autonome Systeme abgesichert werden. Dabei ist die lückenlose Rückverfolgbarkeit der Delegationskette entscheidend: Wenn Agent B eine Aktion ausführt, muss im Sicherheitsprotokoll festgehalten sein, dass diese Aktion auf eine Anforderung von Agent A zurückgeht. Und diese muss letztendlich von einem menschlichen Fachanwender autorisiert worden sein.

Alle Schritte müssen in Audit Trails erfasst werden

Das Geheimnis eines funktionierenden Governance-Frameworks für Multiagenten-Systeme besteht darin, dass es die operative Autonomie des Agenten und seine regulatorische Kontrollierbarkeit unter einen Hut bringt. Schwierig ist das, weil die Entscheidungsprozesse komplexer KI-Modelle auf Menschen oft wie eine Blackbox erscheinen. Das IT-Management muss aber aus Governance- und Haftungsgründen darauf bestehen, dass sich nachvollziehen lässt, warum ein Agent eine Entscheidung fällt oder ein Datenpaket verschickt.

Deshalb brauchen Unternehmen eine „Observability-Infrastruktur“ für KI-Systeme, die über das typische Application Performance Monitoring (APM) hinausgeht. Die Sicherheits- und Governance-Teams erhalten so Echtzeit-Einblicke in die „Denk“- und Handlungsabläufe der Agenten.

Alle Schritte, von der ursprünglichen Prompt-Interpretation über die interne Argumentation und die Auswahl von Werkzeugen bis hin zum finalen API-Aufruf, müssen in Audit Trails erfasst werden, die nicht manipuliert werden können. Wichtig ist, dass diese Logs semantisch analysierbar sind, ohne dass schutzwürdige Daten oder personenbezogene Informationen im Klartext gespeichert werden.

Unternehmen müssen differenzierte Steuerungsmodelle etablieren, bei denen die jeweiligen Risiken ausschlaggebend sind:

• Human-in-the-Loop (HITL): Hier bereitet der Agent die Entscheidung vor und führt sie erst nach expliziter digitaler Signatur des Anwenders aus. Das sollte zum Beispiel bei Finanztransaktionen ab bestimmten Schwellenwerten der Fall sein, bei der Änderung von Systemkonfigurationen oder der Verarbeitung hochsensibler Personaldaten.
• Human-on-the-Loop (HOTL): Bei Prozessen mittlerer Risikokategorie agiert der Agent autonom, wird aber automatisiert überwacht. Realtime-Anomalieerkennung stoppt Prozesse bei unerwarteten Verhaltensmustern und benachrichtigt menschliche Experten (Emergency Kill-Switch).
• Human-out-of-the-Loop (HOOTL): Eine vollständige Entkopplung von menschlicher Überwachung wird zugelassen, natürlich nur bei unkritischen und vollständig reversiblen Routineaufgaben mit geringem Schadenspotenzial.

Eine solche Abstufung ist auch in Hinblick auf den internationalen Regulierungsrahmen unumgänglich. Der EU AI Act stellt genauso wie nationale Datenschutzgesetze strenge Anforderungen an die Transparenz, das Risikomanagement und die menschliche Aufsicht über KI-Systeme. CIOs und CISOs müssen nachweisen können, dass ihre Multiagenten-Umgebung über wirksame Kontroll- und Schutzmechanismen verfügt, um Haftungsrisiken abzuwenden und dafür zu sorgen, dass Compliance-Vorgaben eingehalten werden.

Alle Ein- und Ausgaben müssen das AI Security Gateway passieren

Eine dedizierte technische Kontrollarchitektur trägt dazu bei, dass die Sicherheits- und Governance-Anforderungen umgesetzt werden können. Sie ist die entscheidende Instanz zwischen den KI-Agenten und der Unternehmensinfrastruktur. Nur über diese Kontrollschicht dürfen die Agenten mit produktiven Datenbanken, ERP-Systemen oder externen APIs verknüpft werden.

Der zentrale Baustein dabei ist das AI Security Gateway (auch Semantic API Gateway genannt). Alle Ein- und Ausgaben der Agenten sowie sämtliche Werkzeugaufrufe müssen dieses Gateway passieren. Es fungiert wie eine semantische Firewall: Datenformate und Autorisierungs-Header werden geprüft, der semantische Gehalt von Prompts und Tool-Inputs wird analysiert.

Guardrail-Systeme und Machine-Learning-Klassifikatoren helfen, Datenströme in Echtzeit auf Indirect Prompt Injections oder ungewünschter Datenexfiltration zu scannen. Auch Systemanweisungs-Brüche und Verstöße gegen Compliance-Richtlinien lassen sich damit erkennen und verhindern. Wird ein schädliches Muster detektiert, neutralisiert ein solches Gateway den Aufruf, bevor dieser die Zielanwendung erreicht.

Besonders wichtig ist auch, dass dynamisch erzeugter Code von Agenten (beispielsweise Python-Skripte zur Datenanalyse) isoliert von der produktiven IT-Landschaft ausgeführt wird. Die Ausführungsschritte müssen in strikt abgeschotteten, flüchtigen Sandbox-Umgebungen (z. B. ephemeral Micro-VMs oder isolierten Containern) stattfinden. Diese Sandboxes dürfen keinen direkten Zugriff auf das interne Firmennetzwerk und schon gar nicht zum öffentlichen Internet haben. Werkzeugaufrufe müssen über definierte, stark reglementierte Proxies abgewickelt werden, die Netzwerkaktivitäten überwachen und filtern.

Durch die Kombination aus semantischen Gateways und technischen Isolationsschichten lässt sich eine tiefgestaffelte Verteidigungsarchitektur aufbauen. Selbst wenn ein Agent durch eine komplexe Prompt Injection manipuliert wird, verhindert die Kontrollarchitektur, dass der Angreifer die darunterliegenden Infrastruktur übernehmen oder vertrauliche Unternehmensdaten erbeuten kann.

Eine neue Art von Governance bildet das Fundament

Ein Siegeszug autonomer Multiagenten-Systeme ist wohl sicher, zu verlockend sind die damit verbundenen Produktivitätspotenziale. IT-Entscheider müssen sich daher ausführlich mit einer neuen Art von Governance beschäftigen. Sie bildet das Fundament, das eine sichere Skalierung erst ermöglicht.

Für die strategische Umsetzung empfiehlt sich ein Vorgehen in mehreren Phasen:

1. Discovery & Agent Inventory: CIOs müssen sich vollständige Transparenz über die im Unternehmen existierenden KI-Initiativen und Schatten-Agenten verschaffen. Sämtliche geplante oder bereits aktive Anwendungsfälle müssen je nach Risikoprofil, Datenklassen und angebundenen Schnittstellen kategorisiert werden.

2. Architektur und Identitätsmanagement: Es gilt, eine NHI-Plattform zur Verwaltung nicht-menschlicher Identitäten einzuführen und AI Security Gateways an den kritischen Schnittstellen der IT-Landschaft zu etablieren. Statische Berechtigungen für automatisierte Systeme müssen schrittweise durch flüchtige, kontextbasierte Zugriffsmodelle ersetzt werden.

3. Dynamic Policy & Observability Integration: Jetzt liegt der Fokus auf der Implementierung von Echtzeit-Observability und Governance-Richtlinien. Unternehmen müssen die Denk- und Handlungsprozesse ihrer Multiagenten-Systeme lückenlos nachvollziehen und bei Abweichungen automatisch einschreiten können. In diesem Prozess sind auch die operativen Schnittstellen zwischen Mensch und Agent (HITL/HOTL) in den Fachabteilungen fest zu verankern.

4. Operationalisierung und Skalierung: Zum Schluss geht es darum, die Schutzmaßnahmen kontinuierlich überprüfen und anpassen zu können. Durch simulierte Angriffe (Red Teaming), die auf agentische Schwachstellen wie Indirect Prompt Injections und Privilege Escalation ausgelegt sind, lässt sich die Widerstandsfähigkeit der Umgebung immer wieder auf die Probe stellen.

Fazit: Multiagent-Governance weit mehr als eine Pflichtübung

Das Aufkommen der KI-Agenten führt dazu, das CIOs und CISOs die digitale Transformation ihres Unternehmens neu gestalten müssen. Dafür ist das Mindset wichtig: Multiagent-Governance sollte nicht als lästige Pflichtübung abgetan, sondern als strategisch wichtiger Enabler verstanden werden. Je besser diese Steuerung gelingt, desto wahrscheinlicher ist es, dass Unternehmen erfolgreich sein werden. Wer fähig ist, autonome KI-Systeme schnell, flächendeckend und sicher einzusetzen, wird dem Wettbewerb gerade in Zeiten des Übergangs ein Schnippchen schlagen können.