Brandon Agil, , 2 Min. Lesezeit

Warum euer KI-Agent nicht alles dürfen sollte

Ein Beleg-Agent, den ich als Demo gebaut habe, stoppt bei einer Rechnung über 7.640 Euro und schreibt daneben: „Über Freigabegrenze". Er könnte sie verbuchen. Die Felder sind sauber erkannt, die Rechenprobe stimmt, der Lieferant ist bekannt. Er tut es trotzdem nicht.

Absichtlich. Diese Grenze ist die wichtigste Designentscheidung im ganzen System.

Fehler kosten unterschiedlich viel

Bei Automatisierung wird gern über Genauigkeit geredet. 95 Prozent, 98 Prozent, 99 Prozent. Die interessantere Frage: Was kostet der eine Fehler, der durchrutscht?

Ein falsch einsortierter Newsletter kostet nichts. Eine Support-Antwort mit falscher Retourenfrist kostet ein unangenehmes Kundengespräch. Eine doppelt bezahlte Rechnung über 7.640 Euro kostet echtes Geld, und eine automatisch verschickte Zusage an einen Kunden, die ihr nicht halten könnt, kostet den Kunden.

Deshalb baue ich Agenten nach einer einfachen Regel: Je teurer der mögliche Fehler, desto näher sitzt der Mensch an der Entscheidung.

Die drei Stufen in der Praxis

Stufe 1: Der Agent macht es komplett allein. Für Fälle, bei denen ein Fehler billig und sofort korrigierbar ist. Newsletter aussortieren, Sendungsstatus beantworten, Belege unter der Bagatellgrenze mit bekanntem Lieferanten verbuchen.

Stufe 2: Der Agent bereitet vor, ein Mensch gibt frei. Der Standard für fast alles mit Geld oder Kundenkontakt. Der Agent macht die komplette Vorarbeit, die Freigabe dauert Sekunden. Aus 9 Minuten pro Rechnung werden 15 Sekunden Draufschauen. Das ist schon der ganze Effizienzgewinn, die Freigabe kostet davon fast nichts.

Stufe 3: Der Agent eskaliert. Alles, was er nicht sicher einordnen kann, geht mit seiner Voranalyse an einen Menschen. Wichtig ist das Wort Voranalyse: Ein guter Agent eskaliert nicht mit „weiß ich nicht", sondern mit „Kostenstelle unklar, zwei Kandidaten, hier ist der Kontext".

Autopilot muss man sich verdienen

Der häufigste Einwand: „Wenn eh ein Mensch freigibt, wo ist dann die Automatisierung?" Die Antwort steht in Stufe 2, aber der Einwand zielt auf etwas Echtes. Natürlich will man Standardfälle irgendwann komplett automatisch haben.

Der Weg dahin führt über Daten statt über Vertrauen. Nach ein paar Wochen Betrieb sieht man pro Fallkategorie, wie oft der Mensch den Entwurf unverändert freigegeben hat. Liegt eine Kategorie über Wochen bei praktisch 100 Prozent unveränderter Freigabe, kann man sie guten Gewissens auf Stufe 1 schalten. Eine nach der anderen, mit Stichproben.

So ist auch der Support-Agent aus meinen Demos gedacht: Versand- und Retourenfragen laufen automatisch, weil sie sich das über die Freigabe-Historie verdient haben. Alles andere bleibt Entwurf.

Woran ihr schlechte Angebote erkennt

Wenn euch jemand einen Agenten verkauft und auf die Frage nach Freigabegrenzen, Eskalationsregeln und Fehlerkosten keine konkrete Antwort hat, lasst es. Vollautonomie ab Tag eins ist bei Geld- und Kundenprozessen kein Ausweis von Können. Eher das Gegenteil: Die Leitplanken sind der Teil der Arbeit, den man nicht in zwei Tagen hinbekommt.

Wie sowas konkret aussieht, zeigen die drei Demo-Agenten auf der Startseite. Bei jedem einzelnen ist sichtbar, wo er anhält.