Leitfaden · Vorfälle

Wenn ein KI-Agent etwas falsch macht

Früher oder später erstattet ein Agent die falsche Bestellung, löscht den falschen Datensatz oder verschickt die falsche E-Mail. Was Sie in der ersten Stunde tun, entscheidet, ob es eine Anekdote bleibt oder ein Vorfall wird.

Aktualisiert im November 2026

Kurz gesagt

Stoppen Sie zuerst den Agenten: Pausieren Sie ihn oder widerrufen Sie seine Schlüssel, damit er den Fehler nicht wiederholt. Lesen Sie dann im Protokoll alles, was er getan hat, machen Sie rückgängig, was geht, informieren Sie die Betroffenen, halten Sie fest, was passiert ist, und ändern Sie die Regel, die es zugelassen hat, meist indem diese Aktion künftig auf die Freigabe eines Menschen wartet.

Ihre erste Stunde

Wählen Sie, was passiert ist. Haken Sie jeden Schritt ab; die Reihenfolge zählt.

Was passiert ist

Die erste Stunde, der Reihe nach

Die Reihenfolge zählt: Ein laufender Agent kann einen Fehler wiederholen, während Sie noch über den ersten lesen.

  • Stoppen: Agenten pausieren oder seine Schlüssel widerrufen. Keinen laufenden Agenten debuggen.
  • Nachsehen: im Protokoll alles lesen, was er getan hat, nicht nur den bemerkten Fehler.
  • Rückgängig machen, was geht; manches, etwa eine Erstattung oder eine gesendete E-Mail, geht nicht.
  • Informieren: die Betroffenen und Ihr Team, in klaren Worten.
  • Festhalten: was passiert ist, wann, was Sie getan haben und was es gekostet hat.
  • Regel ändern: entscheiden, welche Aktion auf einen Menschen hätte warten sollen.

Warum es meistens passiert

Fehler von Agenten sehen jedes Mal anders aus, aber die Ursachen wiederholen sich.

  • Der Schlüssel konnte mehr, als die Aufgabe brauchte.
  • Eine Anweisung, versteckt in einer E-Mail, einem Ticket oder einer Webseite, hat den Agenten gesteuert.
  • Zwischen Vorschlag und Änderung stand nichts: keine Freigabe.
  • Niemand hat sein Protokoll gelesen, also hat sich ein kleiner Fehler wiederholt.

Den nächsten verhindern

Die meisten Vorfälle mit Agenten haben eine gemeinsame Ursache: Der Agent konnte allein handeln. Trennen Sie Vorschlagen und Ausführen, damit riskante Änderungen auf einen Menschen warten; geben Sie jedem Agenten nur den Zugriff, den seine Aufgabe braucht; und legen Sie Schlüssel so ab, dass Agenten sie nutzen können, ohne Kopien zu halten.

Checkliste

Bereit, bevor es passiert

  • Sie wissen, wie Sie jeden Agenten mit einem Schritt pausieren.
  • Sie können die Schlüssel jedes Agenten an einer Stelle widerrufen.
  • Jede Aktion eines Agenten wird protokolliert.
  • Unumkehrbare Aktionen warten auf einen Menschen.
  • Für jeden Agenten ist jemand verantwortlich.

Wie MoltenRock die übliche Ursache verhindert

In MoltenRock Connect warten Änderungen in Stripe, Cloudflare und GitHub auf Ihre Freigabe, ein Agent kann sie also nicht allein vornehmen. In MoltenRock werden Schlüssel pro Agent freigegeben, und jede Freigabe wird protokolliert.

Fragen

Sollen wir den Agenten für immer abschalten?

Nicht unbedingt. Die meisten Vorfälle gehen auf eine Aktion zurück, die eine Freigabe gebraucht hätte. Ändern Sie das, und der Agent ist sicherer als vorher.

Müssen wir es melden?

Das hängt davon ab, was passiert ist und wo Sie sind; personenbezogene Daten und Zahlungen können Pflichten auslösen. Fragen Sie jemanden, der Ihre Pflichten kennt.

Wer sollte für einen Agenten verantwortlich sein?

Die Person, der das System gehört, in dem er arbeitet: Abrechnung, Website, Code. Sie legt seine Regeln fest und liest sein Protokoll.

Weitere Ratgeber