Warum KI-Agenten die Erlaubnis erhielten, allein zu handeln
Am 26. August 2026 wurde Claude in Chrome allgemein verfügbar, und die eigentliche Veränderung war nicht die Extension selbst, sondern die Tatsache, dass KI-Agenten Aktionen im Browser ausführen können, ohne bei jedem Schritt eine Freigabe einzuholen — bis dahin verlangte jeder Klick eine explizite Bestätigung des Nutzers. Diese Verschiebung steht nicht für sich allein: Die gesamte Branche hat sich im letzten Jahr von „besseren Modellen“ hin zu „Agenten, die die Arbeit erledigen“ bewegt, mit immer weitreichenderen Berechtigungen und immer weniger schrittweiser Kontrolle, in produktionsreifen Anwendungen mit echtem Gedächtnis und echten Tools, nicht nur in Konversationen in einem Chatfenster.
Für ein Unternehmen aus Rumänien, das einen KI-Agenten in Erwägung zieht — für Marketing, für Support, für interne Prozesse —, bedeutet das eine neue Frage, die mit „installieren wir ihn oder nicht“ nicht mehr beantwortet ist: Wie viel Handlungsfreiheit erhält dieser Agent tatsächlich, und wer entscheidet, wo die Grenze liegt? Die ernsthafte Antwort lautet nicht „so viel Autonomie wie möglich“, sondern eine explizite Grenze, festgelegt bevor der Agent zu arbeiten beginnt — nicht entdeckt nach dem ersten Vorfall.
„Agents Rule of Two“: die einfache Regel, die Katastrophen verhindert
Meta hat am 31. Oktober 2025 ein einfaches Rahmenwerk namens „Agents Rule of Two" veröffentlicht, gedacht genau für Firmen ohne dediziertes Sicherheitsteam für KI-Agenten. Die Regel identifiziert drei riskante Fähigkeiten, die ein Agent haben kann: die Verarbeitung unsicheren Inhalts (aus dem Internet, einer E-Mail oder einem externen Dokument), Zugriff auf sensible Daten oder Systeme und die Fähigkeit, einen Zustand zu ändern oder nach außen zu kommunizieren — eine E-Mail zu senden, eine Zahlung auszuführen, etwas zu veröffentlichen. Die Regel besagt einfach: Ein Agent darf maximal zwei dieser drei ohne direkte menschliche Aufsicht haben.
Wenn ein Agent alle drei gleichzeitig hat — er liest unsicheren Inhalt, hat Zugriff auf private Daten und kann nach außen handeln —, ohne zwischen den Schritten eine neue Sitzung zu beginnen, sollte er nicht vollständig autonom laufen dürfen. In diesem Fall schränken Sie entweder eine der drei Fähigkeiten ein, oder Sie führen einen expliziten menschlichen Freigabeschritt vor der letzten Aktion ein. Es ist eine Regel, die einfach genug ist, um sie selbst zu prüfen, ohne Sicherheitsberatung, für jeden Agenten, den Sie in Erwägung ziehen, in Produktion zu nehmen.
Was die „Rule of Two" für die Berechtigungen der Agenten in Ihrer Firma bedeutet
Ein konkretes Beispiel: Ein Agent, der eingehende E-Mails liest und Antworten verfasst, die er automatisch versendet, hat zwei der drei Fähigkeiten — er verarbeitet unsichere Inhalte (eingehende E-Mails können versteckte Anweisungen enthalten) und handelt nach außen (versendet Antworten). Hat dieser Agent darüber hinaus keinen Zugriff auf andere sensible Systeme des Unternehmens, bleibt die Kombination gemäß der Regel in einem für Autonomie akzeptablen Bereich, mit normaler Überwachung.
Die Situation ändert sich radikal, wenn derselbe Agent zusätzlich Zugriff auf das Bankkonto des Unternehmens oder die Kundendatenbank erhält — dann kommt die dritte Fähigkeit hinzu, und die vollständige Kombination erfordert entweder den Verzicht auf eine der drei Fähigkeiten oder einen Schritt der menschlichen Bestätigung vor jeder irreversiblen Aktion. Der Unterschied zwischen einem „nützlichen Agenten“ und einem „Sicherheitsrisiko“ liegt nicht darin, wie ausgefeilt das dahinterliegende Modell ist, sondern in der genauen Kombination an Zugriff, die Sie ihm gegeben haben — oft, ohne bewusst darüber nachgedacht zu haben.
Warum es gerade jetzt zählt: Injection bleibt ungelöst
Der Grund, warum diese Regel genau jetzt zählt, nicht erst in zwei Jahren, ist, dass die Branche die Erlaubnis erhielt, autonom zu handeln, bevor sie eine vollständige Lösung für Prompt Injection hatte — die Technik, mit der versteckter, auf einer Webseite oder in einem Dokument platzierter Text die Anweisungen eines Agenten kapert. Der OWASP-Bericht zu agentischen Anwendungen zeigt, dass Prompt Injection auf sechs der zehn Kategorien der Top 10 Agentic abgebildet ist, und von dreiundfünfzig untersuchten agentischen Projekten sind achtundzwanzig sogar Programmierwerkzeuge — genau die Werkzeugklasse, mit der eine Softwareentwicklungsfirma täglich arbeitet.
Die praktische Schlussfolgerung lautet nicht, KI-Agenten zu vermeiden, sondern sie nicht wie einen gewöhnlichen Chatbot zu behandeln: Ein Agent, der unbeaufsichtigt im Web navigieren oder Dokumente von Dritten lesen kann, erbt genau das Risiko, das die Branche noch aktiv managt. Berechtigungsgrenzen sind keine unnötige Bürokratie — sie sind die direkte Antwort auf eine reale, dokumentierte Schwachstelle, keine hypothetische oder von der Presse übertriebene.
Was das Gesetz verlangt: Art. 50 der KI-Verordnung, kurz erklärt
Seit dem 2. August 2026 gilt Artikel 50 der europäischen KI-Verordnung, der Transparenzpflichten für jedes interaktive System und für synthetische, von KI erzeugte Inhalte einführt — praktisch muss ein Chatbot oder Agent dem Nutzer klar mitteilen, dass er mit einem automatisierten System spricht, nicht mit einem Menschen. Die Übergangsfrist für die Kennzeichnung (Watermarking) von Inhalten, die von vor dem 2. August auf den Markt gebrachten Systemen erzeugt wurden, läuft bis zum 2. Dezember 2026, und die Pflichten für Hochrisikosysteme bleiben auf 2027–2028 verschoben.
Für ein Unternehmen, das bereits KI-generierte visuelle Inhalte oder Videos in Präsentationsmaterialien oder auf der Website einsetzt — Hero-Bilder, Produktvisuals —, bedeutet das eine einfache, aber notwendige Prüfung: Erfüllt dieser Inhalt die Kennzeichnungspflicht? Das ist keine dramatische Prozessänderung, aber genau die Art von Detail, die, wenn ignoriert, zu einem Compliance-Problem wird, das sich leicht vermeiden lässt, wenn man es rechtzeitig angeht, statt es erst bei einer Kontrolle zu entdecken.
Das versteckte Risiko: die Skills, die Sie für den Agenten installieren
Ein separater, aber verwandter Teil des Risikos kommt aus dem Material, aus dem Agenten gebaut sind: den Skills — Textanweisungen, die Sie installieren, um zu erweitern, was ein Agent tun kann. Snyk hat fast viertausend öffentliche Skills analysiert und bei über einem Drittel mindestens ein Sicherheitsproblem gefunden, und die separate Analyse von NVIDIA fand bei etwa einem Viertel der Stichprobe reale Schwachstellen. Eine Anmerkung zur Ehrlichkeit zählt hier: Der Titel des Snyk-Berichts spricht von „Prompt Injection" als großem Anteil, aber ihre Tabelle zeigt, dass Injection nur einen kleinen Teil des Gesamten ausmacht — der Rest sind andere, unterschiedliche Problemkategorien.
Die praktische Schlussfolgerung ist einfach: Ein Skill ist keine harmlose Textdatei, sondern erbt den Zugriff des Agenten auf Umgebungsvariablen, API-Schlüssel und sensible Ordner. Bevor Sie ein Skill-Paket aus einem unbekannten Marketplace installieren, lohnt es sich, es durch einen dedizierten Scanner laufen zu lassen — genau wie Sie jede neue Code-Abhängigkeit scannen würden, bevor Sie sie in Produktion nehmen. Die Sicherheitspraxis aus der Softwareentwicklung gilt hier identisch, das ist kein separates Feld.
Eine praktische Checkliste, bevor Sie einen KI-Agenten allein handeln lassen
Bevor Sie einen KI-Agenten autonom in Ihrem Unternehmen agieren lassen, senken einige einfache Prüfungen das Risiko deutlich – ohne dass es dafür ein dediziertes Sicherheitsteam oder fortgeschrittene technische Kenntnisse braucht, sondern nur die Disziplin, sie jedes Mal durchzugehen, wenn Sie dem Agenten eine neue Fähigkeit hinzufügen oder ein zusätzliches Tool anbinden. Die folgende Liste ist so gedacht, dass sie sich in wenigen Minuten durchgehen lässt, nicht als formales Sicherheitsaudit.
Die Checkliste ersetzt keine umfassendere Sicherheitsdiskussion, wenn der betreffende Agent Zugriff auf Finanzvorgänge oder sensible personenbezogene Kundendaten hat — in diesen Fällen lohnt es sich, jemanden mit spezifischer Erfahrung in KI-Agenten-Sicherheit einzubeziehen, nicht nur den technischen Hausverstand. Für die meisten gewöhnlichen internen Prozesse decken diese fünf Prüfungen jedoch den größten Teil des realen Risikos ab, bei einem Zeitaufwand, der im Vergleich zu dem, was er verhindert, fast vernachlässigbar ist.
- 01Listet explizit die drei Fähigkeiten auf: private Daten, unsicherer Inhalt, externe Aktion
- 02Prüfen Sie, ob der Agent alle drei gleichzeitig hat, ohne neue Sitzung dazwischen
- 03Fügen Sie einen menschlichen Freigabeschritt für jede unumkehrbare Aktion hinzu
- 04Scannen Sie jedes installierte Skill oder Plugin, bevor Sie es in Produktion nehmen
- 05Prüfen Sie, ob jeder generierte synthetische Inhalt der Kennzeichnungspflicht entspricht
Häufige Fehler bei der Einführung von KI-Agenten in der Firma
Der häufigste Fehler ist, einen KI-Agenten wie ein gewöhnliches Produktivitätswerkzeug zu behandeln, ohne jede explizite Diskussion darüber, welchen Zugriff er erhält — er wird installiert, bekommt Zugangsdaten „damit es schneller geht", und die Berechtigungsgrenze wird nie zum Diskussionsthema. Der zweite Fehler ist die Annahme, ein „vertrauenswürdiger" Anbieter mache eine eigene Prüfung überflüssig — die Zwei-von-drei-Regel gilt unabhängig davon, wer den Agenten gebaut hat, denn das Risiko entsteht aus der Kombination der Zugriffe, nicht aus der Qualität des dahinterliegenden Modells.
Der dritte und langfristig teuerste Fehler ist, die Diskussion über Berechtigungen bis nach einem Vorfall aufzuschieben — eine falsch versendete E-Mail, eine Aktion, die auf Basis manipulierter Inhalte ausgeführt wurde, ein Datenleck. Die Kosten, Grenzen von Anfang an festzulegen, sind fast null; die Kosten, sie erst nach einem Fehlschlag festzulegen, umfassen fast immer auch die Reparatur des verlorenen Vertrauens, nicht nur des betroffenen technischen Systems.
Quellen und weiterführende Lektüre.
- 01Meta AI Blog — Agents Rule of Two: A Practical Approach to AI Agent Security
- 02Help Net Security — OWASP prompt injection AI security failures
- 03Latham & Watkins — AI Act update: EU resolves to change rules and extend deadlines
- 04Snyk — ToxicSkills: malicious AI agent skills on ClawHub
- 05Help Net Security — SkillSpector: open-source agent skill security scanner
- 06Simon Willison — Prompt injection (ongoing coverage)
Häufige Fragen
Was ist die „Agents Rule of Two"?
Ein von Meta veröffentlichtes Rahmenwerk, das besagt, dass ein KI-Agent maximal zwei von drei riskanten Fähigkeiten gleichzeitig haben darf — Verarbeitung unsicherer Inhalte, Zugriff auf private Daten, Handeln nach außen — ohne direkte menschliche Aufsicht.
Welche Berechtigungen sollte ein KI-Agent in einer kleinen Firma haben?
So wenige wie möglich der drei riskanten Fähigkeiten gleichzeitig. Wenn ein Agent für seine Aufgabe alle drei braucht, fügen Sie einen menschlichen Freigabeschritt vor jeder nicht rückgängig zu machenden Aktion hinzu.
Was ist Prompt Injection?
Eine Technik, bei der ein versteckter Text – platziert in einer Webseite, einer E-Mail oder einem Dokument – die Anweisungen eines KI-Agenten kapert und ihn dazu bringt, vom Nutzer nicht beabsichtigte Aktionen auszuführen.
Welche Pflichten bringt Art. 50 der KI-Verordnung für einen Chatbot oder KI-Agenten mit sich?
Seit dem 2. August 2026 muss jedes interaktive System klar mitteilen, dass es automatisiert ist, und von KI erzeugte synthetische Inhalte müssen gekennzeichnet werden — mit einer Übergangsfrist für das Watermarking bis zum 2. Dezember 2026.
Sind aus einem Marketplace installierte KI-Skills gefährlich?
Ein erheblicher Teil weist laut den Analysen von Snyk und NVIDIA reale Sicherheitsprobleme auf — nicht nur Prompt Injection, sondern auch andere Schwachstellen. Scannen Sie sie, bevor Sie sie in Produktion nehmen.
Woher weiß ich, ob ein KI-Agent für meine Firma zu autonom ist?
Prüfen Sie, ob er gleichzeitig Zugriff auf private Daten, Exposition gegenüber unsicheren Inhalten und die Fähigkeit zu externem Handeln hat. Wenn ja, und es gibt keine menschliche Freigabe für irreversible Aktionen, ist er zu autonom.
Lassen Sie uns schauen, was sich bei Ihnen automatisieren lässt.
Eine kostenlose 30-Minuten-Sitzung: Wir sagen Ihnen, was sich automatisieren lässt, wie lange es dauert und was es kostet – mit Festpreis nach dem Discovery-Gespräch.