Ein KI-Agent erledigt die Fälle, die er in Ihren Systemen nachprüfen kann. Alle anderen gibt er an einen Menschen weiter, mit seinem Entwurf und dem Grund, warum er nicht selbst entschieden hat. Das ist Human in the Loop im Alltag eines Betriebs. Der Agent hat eine feste Liste von Übergabegründen, die Fälle landen in einer Prüfliste mit einer zuständigen Person, und jede Woche schaut jemand auf eine Zahl.
Viele planen diesen Teil zuletzt. Ich fange damit an, denn wenn die Prüfliste nicht funktioniert, rät der Agent entweder oder sie füllt sich, bis keiner mehr hineinschaut. Das Beispiel weiter unten ist ausgedacht und kein Kundenprojekt. Referenzen habe ich noch keine, und erfundene stehen hier nicht.
Was heißt Human in the Loop bei einem KI-Agenten?
Gemeint ist, dass an einer festgelegten Stelle ein Mensch entscheidet. Wo diese Stelle liegt, verschiebt sich mit der Zeit.
Im Schattenbetrieb entscheidet der Mensch alles, und der Agent schreibt nur mit. In der ersten Stufe danach legt der Agent Entwürfe an, und ein Mensch gibt jeden einzelnen frei. Erst in der Stufe darauf laufen saubere Fälle ohne Freigabe durch, und bei Ihren Leuten landet nur noch, was der Agent übergibt. Um diese Stufe geht es hier. Sie ist die einzige, in der die Frage nach den Übergaben wirklich zählt, denn vorher sieht ohnehin ein Mensch jeden Fall.
Welche Fälle gehen an einen Menschen?
Ein Agent hat kein Gefühl für einen Fall. Er hat Prüfungen, und jede Prüfung schlägt aus einem Grund fehl, den man benennen kann. Diese Gründe tauchen in fast jedem Ablauf auf.
Die Zuordnung ist unsicher. Der Agent findet zwei Artikel, Kunden oder Rechnungen, die fast gleich gut passen. Schauen Sie dabei auf den Abstand zwischen dem besten und dem zweitbesten Kandidaten. Ein hoher Wert für den besten Treffer allein sagt wenig, wenn der zweite knapp dahinter liegt.
Der Betrag liegt über einer Grenze. Ab einer Summe, die Sie festlegen, schaut ein Mensch auf jeden Auftrag, jede Gutschrift und jede Zahlung. Die Grenze hängt davon ab, was ein Fehler kostet und wie schwer er sich zurückholen lässt.
Kunde oder Lieferadresse sind neu. Zu einem neuen Kunden gehören Bonitätsprüfung und Zahlungsziel. Eine neue Lieferadresse kann stimmen, sie ist aber auch der übliche Weg, auf dem Betrüger an Ware kommen.
Es ist eine Reklamation. Ein verärgerter Kunde oder jemand, der sich zum selben Problem zum zweiten Mal meldet, bekommt einen Menschen. Ein freundlicher Textbaustein macht diesen Fall schlimmer.
Der Agent kann eine Angabe nicht prüfen. „Wie telefonisch besprochen mit 8 % Rabatt“ steht in der Mail, aber in keinem System. Was der Agent nicht nachschlagen kann, gibt er weiter, auch wenn alles andere passt.
Diese Gründe gehören als einzelne Prüfungen in den Code und nicht als Bitte in den Prompt. Warum, steht unter Leitplanken für KI-Agenten. Fassen Sie die Prüfungen auch nicht zu einer einzigen Sicherheitszahl zusammen. „Sicherheit 0,62“ sagt Ihrer Kollegin nicht, wo sie hinschauen soll. „Zwei Artikel mit fast gleicher Bezeichnung, DN 25 und DN 32“ sagt es ihr.
Wie läuft die Übergabe an einen Mitarbeiter ab?
Der Agent legt den Fall in die Prüfliste, sobald eine Prüfung fehlschlägt. Der Eintrag entsteht in diesem Moment und nicht später aus den Protokollen. Jeder Eintrag enthält:
- einen Link direkt auf den Vorgang in Ihrem System, nicht nur eine Nummer zum Abtippen,
- den Grund in den Worten, die Ihr Team benutzt,
- die Belege, die der Agent hatte, bei einer unsicheren Zuordnung also beide Kandidaten,
- den Entwurf des Agenten, also das, was er getan hätte, wenn er hätte entscheiden müssen.
Der Entwurf spart der Kollegin Zeit, weil sie einen Vorschlag annimmt oder ändert, statt bei null anzufangen. Außerdem sammeln Sie damit die Daten für später. Wenn bei ein paar hundert Übergaben der Entwurf des Agenten neben der Entscheidung des Menschen steht, wissen Sie, wie oft der Agent richtig gelegen hätte.
Die Entscheidung trifft Ihre Kollegin in der Prüfliste, und von dort wird sie ins ERP oder ins Ticketsystem zurückgeschrieben, mit ihrem Namen im Protokoll. Muss sie dieselbe Entscheidung danach noch einmal von Hand eintragen, erledigt sie doppelte Arbeit, und die Prüfliste wird zur lästigen Pflicht.
Wem die Prüfliste gehört. Jeder Fall bekommt beim Eintrag eine Person, keine Gruppe. In einem Sammelpostfach geht jeder davon aus, dass ein anderer den Fall schon hat. Einfach umzusetzen ist ein Tagesdienst mit benannter Vertretung, den die Teamleitung im Kalender einträgt.
Wie schnell geantwortet wird. Legen Sie die Reaktionszeit je Grund fest, bevor der Agent startet. Reklamationen zum Beispiel am selben Tag, alles andere bis zum nächsten Arbeitstag um 12 Uhr. Ganz oben in der Liste steht das Alter des ältesten offenen Falls. Die Länge der Liste allein verrät nicht, ob dort ein schwieriger Fall seit einer Woche liegt.
Was passiert, wenn die Liste überläuft. Legen Sie eine Grenze für Alter und Länge fest. Wird sie überschritten, hört der Agent auf, Fälle ohne Freigabe zu erledigen, und die Teamleitung bekommt eine Nachricht. Ein Agent, der anhält, ärgert alle für einen Nachmittag. Ein Agent, der weiterbucht, während sich die Übergaben stapeln, fällt erst beim Monatsabschluss auf.
Ein ausgedachtes Beispiel: Bestellungen bei einem Großhändler
Ein ausgedachter Haustechnik-Großhändler bekommt im Monat 1.200 Bestellungen per Mail, an 20 Arbeitstagen also 60 am Tag. Ein Agent liest sie und legt sie im ERP an, so wie unter Auftragserfassung automatisieren mit KI beschrieben. Saubere Bestellungen von Stammkunden gehen inzwischen ohne Freigabe durch.
Im ersten Monat dieser Stufe übergibt der Agent 264 Bestellungen an den Innendienst, also 22 %:
| Grund | Monat 1 | Monat 4 |
|---|---|---|
| Artikel nicht sicher zuzuordnen | 96 | 30 |
| Preis oder Kondition nicht prüfbar | 60 | 24 |
| Neuer Kunde oder neue Lieferadresse | 48 | 48 |
| Auftragswert über 20.000 € | 36 | 36 |
| Reklamation in derselben Mail | 24 | 24 |
| Summe | 264 | 162 |
| Anteil an 1.200 Bestellungen | 22 % | 13,5 % |
Eine Übergabe kostet im Schnitt fünf Minuten. Im ersten Monat sind das 1.320 Minuten oder 22 Stunden, gut 13 Fälle am Tag.
Bei den 96 Artikeln hat der Innendienst den Vorschlag des Agenten in 72 Fällen übernommen, das sind 75 %. Das klingt gut, reicht aber nicht, um den Agenten allein entscheiden zu lassen. Die übrigen 24 wären im Monat 24 Falschlieferungen gewesen. Stattdessen trägt der Innendienst die Artikelnummern der Kunden, an denen der Agent hängen geblieben ist, in die Zuordnungstabelle ein. Außerdem stehen die Sonderpreise von zwölf Kunden, die bisher nur in einem Ordner lagen, jetzt im ERP.
Im vierten Monat übergibt der Agent 162 Bestellungen, das sind 13,5 % oder rund acht am Tag. Die Prüfzeit sinkt auf 810 Minuten, also 13,5 Stunden. Der Innendienst gewinnt 8,5 Stunden im Monat zurück, und niemand hat dafür eine Grenze verschoben.
Drei Zeilen der Tabelle haben sich nicht bewegt, und das ist Absicht. Neue Kunden, hohe Beträge und Reklamationen bleiben bei Menschen, egal wie gut der Agent wird.
Was Sie messen
Die Übergabequote zählen Sie je Grund, nicht als eine Gesamtzahl. Erst nach Gründen getrennt sehen Sie, wo Daten fehlen und wo der Agent schwächelt.
Für jeden Grund zählen Sie außerdem, wie oft der Mensch den Entwurf des Agenten unverändert übernimmt. Diese Zahl brauchen Sie, bevor Sie je eine Grenze lockern.
Jeden Morgen schaut jemand auf das Alter des ältesten offenen Falls, und einmal im Monat auf die Prüfzeit je Fall. Steigt die Prüfzeit, sind die Gründe zu ungenau, und Ihre Leute suchen selbst nach.
Von den Fällen, die der Agent ohne Freigabe erledigt hat, prüft jemand jede Woche eine Stichprobe. Jeder Fehler darin wird einzeln gelesen, mit der Frage, welche Prüfung ihn hätte abfangen müssen. Ob jemand die Prüfliste nach dem Start überhaupt noch benutzt, zeigen die Wochenzahlen aus dem Text darüber, warum eine KI-Einführung nach dem Start scheitert.
Wie sich der Anteil der Übergaben verändern sollte
Am Anfang ist er hoch, und das ist in Ordnung. Ein Agent, der in der ersten Woche nur 2 % übergibt, ist selten so gut. Meist sind dann seine Prüfungen zu grob, um die eigenen Fehler zu bemerken.
Danach sinkt der Anteil, weil Sie Ursachen beheben. Jemand ergänzt die Zuordnungstabelle, oder ein Sonderpreis landet endlich im ERP. Er sinkt nicht, weil jemand die Schwelle herunterdreht, bis die Liste kürzer aussieht.
Irgendwann bleibt er auf einem Sockel stehen. Der besteht aus den Gründen, die Sie absichtlich bei Menschen lassen. Im Beispiel liegt der Sockel bei 108 Fällen im Monat, das sind 9 %.
Eine Grenze lockern Sie nur mit Zahlen. Wie oft hätte der Agent bei diesem Grund richtig gelegen? Was kostet ein Fehler, und wie viele davon kaufen Sie sich im Monat ein? Ändern Sie eine Grenze nach der anderen und schreiben Sie vorher auf, welche Quote Sie danach erwarten.
Steigt der Anteil plötzlich, hat sich in Ihrem Betrieb etwas geändert. Oft ist es eine neue Preisliste oder ein großer Kunde mit eigenem Bestellformular. Die Prüfliste merkt das früher als jede Auswertung.
Schreibt die KI-Verordnung Human in the Loop vor?
Art. 14 der KI-Verordnung der EU regelt die menschliche Aufsicht, und zwar für Hochrisiko-KI-Systeme. Solche Systeme müssen so konzipiert und entwickelt werden, dass natürliche Personen sie während ihrer Verwendung wirksam beaufsichtigen können. Welche Bereiche als hochriskant gelten, listet unter anderem Anhang III auf, darunter die Auswahl von Bewerbern und die Kreditwürdigkeitsprüfung natürlicher Personen.
Ein Agent, der Bestellungen erfasst oder Tickets vorsortiert, fällt in keinen der acht Bereiche von Anhang III. Art. 14 ist für ihn keine Pflicht. Die Übergabe bauen Sie trotzdem, weil Ihr Betrieb sonst die Fehler bezahlt. Soll ein Agent dagegen Bewerbungen sichten oder über Kredite an Privatpersonen mitentscheiden, gehört vor den Build eine juristische Prüfung.
Gelesen habe ich Art. 14 und Anhang III am 21. Oktober 2026 auf dem AI Act Service Desk der Europäischen Kommission, in der konsolidierten Fassung mit Stand vom 27. Juli 2026. Rechtsberatung ist dieser Text nicht. Was die DSGVO von einem Agenten verlangt, steht unter DSGVO-Anforderungen an KI-Agenten.
Mit Ihren Sonderfällen in den Scoping-Call
Schreiben Sie vor dem Gespräch auf, welche Fälle Ihr Team heute anders behandelt als den Rest und wer darüber entscheidet. Weitere Abläufe, in denen eine solche Prüfliste sitzt, finden Sie unter KI-Agenten: Beispiele für Unternehmen, etwa den KI-Agenten im Kundenservice. Mit dieser Liste sortieren wir im Scoping-Call in dreißig Minuten, welche Fälle ein Agent erledigen kann und welche bei Ihren Leuten bleiben.