Jörg Egretzberger: Absolut. Wenn AI-Agenten autonom agieren – eigenständig Entscheidungen treffen und Aufgaben ausführen - entstehen völlig neue Angriffsflächen, für die klassische Sicherheitsmaßnahmen wie Firewalls, IAM, rollenbasierte Zugriffe usw. nie konzipiert wurden. Im Gegensatz zu festen Softwareskripten können agentische KI-Systeme ihre Aktionen dynamisch erzeugen, wodurch ganz neue Bedrohungstypen entstehen.

Ein Beispiel ist die Prompt Injection: Angreifer verstecken schädliche Anweisungen in scheinbar harmlosen Daten wie in Dokumenten oder Benutzer-Nachrichten. Traditionelle Sicherheitsmaßnahmen erkennen dies nicht, da es sich nicht um Viren oder bekannte Exploits handelt. Dennoch könnte beispielsweise ein PDF mit verstecktem Text einen KI-Agenten dazu bringen, vertrauliche Informationen über das Web an einen Angreifer zu übermitteln. Solche Vorfälle wurden bereits von Unternehmen berichtet.

Microsoft und das Open Worldwide Application Security Project (OWASP) betrachten Prompt Injection mittlerweile als hohes Risiko und empfehlen mehrere Schichten deterministischer Schutzmaßnahmen – nicht nur heuristische. Die Forschungsgemeinschaft hat außerdem konkrete Design-Patterns zur Absicherung von KI-Agenten veröffentlicht.

Bei TIMETOACT reduzieren wir dieses Risiko, indem wir das Denken und Handeln der Agenten einschränken. Mittels Schema-Guided Reasoning folgen Agenten vordefinierten, geprüften Denkschritten anstelle freier Improvisation, wodurch die Angriffsfläche durch „kreative“ Aktionsketten deutlich reduziert wird.

Egretzberger: Die Verantwortung bleibt immer beim Betreiber. Führende Leitlinien betonen dabei zentrale Prinzipien: Für jeden Agenten muss ein verantwortlicher Business Owner benannt werden. Alle Aktivitäten des Agenten sind durch umfassendes Tracing und Logging vollständig nachverfolgbar und eindeutig zuordenbar – jeder Agent erhält eine eigene Identität mit minimalen Zugriffsrechten. Zudem muss jederzeit ein Eingriff möglich sein, etwa durch menschliche Freigaben für sensible Aktionen oder einen Kill-Switch. Dieser kontrollierte Mechanismus erlaubt es, einen KI-Agenten sofort zu unterbrechen, zu deaktivieren oder in einen sicheren Zustand zu versetzen, um Schaden zu verhindern oder Fehlverhalten zu stoppen.

Auch Governance-Dokumente von OpenAI sowie die Launch- und Post-Launch-Reviews von Google weisen in diese Richtung: Policy-as-Code, regelmäßige Audits, lückenlose Dokumentation von Modellen und Anwendungen sowie kontinuierliches Monitoring. IBM ergänzt diese Ansätze um Vorbereitungen auf den EU AI Act und durchgängige KI-Governance und Observability in produktiven Umgebungen.

Im AI Strategy & Research Hub der TIMETOACT GROUP setzen wir diese Prinzipien konsequent um. Durch Schema-Guided Reasoning (SGR) machen wir die Schlussfolgerungen großer Sprachmodelle test- und nachvollziehbar und prüfen datenbasiert die einzelnen logischen Schritte. Jeder Prozess wird vollständig protokolliert. Bei Bedarf bieten wir lokale, air-gapped Implementierungen von KI-Modellen an, was sich in Projekten beispielsweise im Finanzsektor bewährt hat. Dadurch reduzieren wir Risiken und vereinfachen Audits.

Egretzberger: Um eine vertrauenswürdige KI zu schaffen, gilt der Grundsatz: Zero Trust gegenüber Agenten – verbunden mit gründlichen Tests. Dafür braucht es ein mehrschichtiges Schutzkonzept, das Risiken aus verschiedenen Perspektiven minimiert.

Erstens: Die dynamische Autorisierung und Identitätsverwaltung. Jeder Agent erhält eine eigene Identität mit zeitlich begrenzten, minimalen Zugriffsrechten (Just-in-Time, Least Privilege). Risikobehaftete Tool-Aufrufe werden durch Policy Engines überprüft, sensible Aktionen erfordern menschliche Freigaben. Große Anbieter wie Microsoft, Google und OpenAI setzen diesen Ansatz bereits konsequent um.

Zweitens: Die strikte Datenisolation. Sensible Daten müssen vollständig von externen Kommunikationskanälen getrennt bleiben. Netzwerke werden deaktiviert, wenn kritische Daten verarbeitet werden, und Code-Ausführung erfolgt in isolierten Umgebungen. Die sogenannte „lethal trifecta“ – also der gleichzeitige Zugriff auf Daten, Inhalte und Kommunikationskanäle – darf nie in einer einzigen Sitzung auftreten.

Drittens: Der Schutz vor Prompt Injection. Hier kombinieren wir deterministische Maßnahmen wie Output-Sanitisierung, Tool-Call-Whitelists und Ausgangsfilter mit probabilistischen Prüfungen. Wir orientieren uns an etablierten Methoden aus der Forschung – etwa zur Kontextminimierung, strukturierten Planung und doppelten LLM-Validierung. Ein „zweites KI-Augenpaar“ zur Kontrolle erhöht dabei die Sicherheit erheblich.

Viertens: Observability, Red Teaming und klare Schutzrichtlinien. Wir identifizieren potenzielle Risiken proaktiv und schließen sie gezielt. Das umfasst vollständige Nachvollziehbarkeit aller Agentenschritte, gezieltes Red Teaming gegen Injektionen und Datenabfluss sowie verbindliche Schutzmechanismen bei Eingaben, Ausgaben und Tool-Aufrufen. Führende KI-Anbieter integrieren solche Audit- und Überwachungsmechanismen bereits standardmäßig.

Unser Ansatz bei TIMETOACT setzt zusätzlich auf Schema-Guided Reasoning (SGR). Damit definieren wir das logische Vorgehen von Agenten im Voraus und machen es testbar – ihr Verhalten wird vorhersehbar und überprüfbar.