Wenn das KI-Tool nach dem Start nicht genutzt wird

Eine KI-Einführung scheitert nach dem Start leise. Mit dem Go-live endet das Projekt, und ab diesem Tag gehört das Tool niemandem mehr. Es liegt neben der täglichen Arbeit. Sonderfälle bleiben liegen, weil kein Weg zu einem Menschen führt. Die Nutzung zählt niemand. Und die erste falsche Antwort erklärt keiner. Jeder dieser Punkte lässt sich an einer Wochenzahl ablesen, Wochen bevor jemand sagt, das KI-Tool werde nicht genutzt.

Dieser Text richtet sich an Inhaber und Abteilungsleiter im Mittelstand, die ein KI-Tool eingeführt haben und zusehen, wie die Nutzung nachlässt. Der Betrieb weiter unten ist ausgedacht und kein Kundenprojekt. Referenzen habe ich noch keine, und erfundene stehen hier nicht. Zahlen aus Studien nenne ich auch keine. Eine Prozentzahl ohne Jahr und Stichprobe sagt über Ihren Betrieb nichts.

Wie sieht es aus, wenn ein KI-Tool nicht genutzt wird?

Nehmen wir einen ausgedachten Elektrogroßhandel mit 90 Beschäftigten. Im Innendienst sitzen zwölf Leute, die am Telefon und per Mail technische Rückfragen beantworten. Passt der Leitungsschutzschalter in den Verteiler? Welche Schutzart hat die Leuchte? Seit sechs Wochen haben sie dafür einen KI-Assistenten, der solche Fragen aus Datenblättern und Katalogen beantwortet und die Fundstelle dazu nennt.

In der ersten Woche stellt der Innendienst dem Assistenten 340 Fragen. In der dritten sind es 150, in der sechsten 40. Abgeschaltet hat ihn niemand, und beschwert hat sich auch keiner. Die Lizenz läuft weiter.

Was dazwischen passiert ist, lässt sich nacherzählen. Der Assistent läuft in einem eigenen Browserfenster, die Arbeit aber im ERP und am Telefon. In der zweiten Woche nennt er einer Kollegin für einen Schalter einen falschen Wert, weil im Bestand noch das Datenblatt der Vorgängerserie liegt. Sie merkt es, bevor das Angebot rausgeht, und erzählt es in der Kaffeeküche. Eine Stelle, der sie den Fehler melden könnte, kennt sie nicht. Der Projektleiter aus der IT sitzt seit dem Go-live im nächsten Projekt. In der sechsten Woche liegt das alte Datenblatt noch immer im Bestand.

Die Zahl 40 hat in diesem Betrieb niemand gesehen, weil niemand gezählt hat.

Liegt es an der Akzeptanz der Mitarbeiter?

„Mangelnde Akzeptanz“ ist die Diagnose, die am schnellsten zur Hand ist, und sie schiebt die Ursache zu den Leuten. Im Beispiel haben sich die zwölf im Innendienst vernünftig verhalten. Ein Werkzeug, das einmal falsch lag und bei dem niemand sagt, warum, prüft man bei jeder Antwort nach. Wer jede Antwort nachprüft, spart keine Zeit und lässt das Fenster zu.

Hinter dem Rückgang stehen fünf Ursachen. Jede lässt sich beheben, ohne dass jemand seine Haltung ändern muss.

1. Das Tool liegt neben der Arbeit. Ein zweites Fenster kostet an einem ruhigen Tag ein paar Sekunden. Warten zwei Kunden in der Leitung, öffnet es niemand. Die Antwort gehört dorthin, wo die Frage entsteht, hier also in die Artikelansicht des ERP.
2. Nach dem Projekt gehört es niemandem. Die IT hält den Server am Laufen. Ob die Antworten stimmen, ist damit nicht geklärt. Es braucht eine benannte Person aus der Fachabteilung, die Regeln und Quellen ändern darf und dafür Zeit im Kalender hat.
3. Sonderfälle haben keinen Weg zu einem Menschen. Findet der Assistent nichts Belastbares, muss er das sagen und die Frage mit dem Grund an eine benannte Person weitergeben. Rät er, lernt das Team, ihm bei schwierigen Fragen nicht zu trauen. Gerade bei denen wäre Hilfe am meisten wert.
4. Niemand zählt die Nutzung. Das Dashboard des Anbieters zeigt, dass das System läuft. Wie viele Fragen der Innendienst stellt und wie viele Antworten er übernimmt, sieht nur, wer danach sucht.
5. Die erste falsche Antwort bleibt unerklärt. Ein Fehler ist verkraftbar, wenn am nächsten Tag jemand sagt, woran es lag und was geändert wurde. Bleibt das aus, heißt es im Team bald, das Ding erfinde Sachen.

Reicht eine Schulung vor dem Start?

Nein. Eine Schulung vor dem Start beantwortet Fragen, die vor dem ersten echten Fall noch niemand hat. An den fünf Ursachen ändert sie nichts, denn keine davon ist eine Wissenslücke.

Sinnvoll ist ein Termin, wenn das Team eigene Fälle mitbringt. In der Übergabe in 90 Tagen liegt der zweite Workshop deshalb drei Wochen nach dem Go-live, und er geht durch die Fehlläufe aus dem Protokoll statt durch Beispiele. Dort steht auch, was die zuständige Person in der Hand haben muss, damit sie eine Regel selbst ändern kann.

Welche Zahlen zeigen früh, dass die Nutzung kippt?

Vier Zahlen, jede Woche am selben Tag erhoben, je Ablauf.

Die erste ist der Anteil der Fälle, die über das Tool gelaufen sind. Im Zähler stehen die Fälle, bei denen jemand das Ergebnis übernommen hat. Im Nenner stehen alle Fälle dieser Art, und die lesen Sie aus dem ERP oder der Telefonanlage und nicht aus dem Tool. Wie man solche Mengen aus den Systemen holt, beschreibe ich unter Stunden zählen.

Die zweite ist der Anteil der Antworten, die ohne Nacharbeit übernommen wurden. Fällt er, liegt es an der Qualität oder an den Sonderfällen.

Die dritte ist das Alter der ältesten offenen Rückfrage. Liegt eine gemeldete Frage seit neun Tagen unbeantwortet, funktioniert der Weg zum Menschen nicht.

Die vierte ist die Zeit von der Meldung einer falschen Antwort bis zur Erklärung an das Team, gezählt in Arbeitstagen.

Lesen Sie die Zahlen als Verlauf über vier Wochen. Eine einzelne Woche sagt wenig, weil Urlaub oder ein Monatsende alles verschiebt. Zielwerte nenne ich keine, denn sie hängen am Ablauf. Ein Anteil, der drei Wochen hintereinander fällt, ist das Signal.

Zählen Sie je Ablauf und je Team und nicht je Person. Eine Rangliste, wer das Tool wie oft nutzt, eignet sich zur Leistungskontrolle, und wer sich beobachtet fühlt, meidet das Tool schon deshalb. Hat Ihr Betrieb einen Betriebsrat, gehört die Auswertung auf seinen Tisch, bevor Sie sie einrichten. Was er zu den Protokolldaten wissen will, steht unter Betriebsrat bei KI-Agenten einbinden.

Was tun Sie in den ersten 30 Tagen nach dem Start?

1. Am ersten Tag einen Namen nennen. Eine Person aus der Fachabteilung ist zuständig, und das Team weiß, wer. Bei ihr landet jede falsche Antwort, über einen einzigen Meldeweg.
2. In der ersten Woche zuschauen. Setzen Sie sich je eine Stunde neben zwei Leute und sehen Sie, an welcher Stelle ihrer Arbeit das Tool vorkommt. Zusehen bringt hier mehr als Fragen.
3. Ab der ersten Woche zählen. Die vier Zahlen von oben, jede Woche an einem Ort, den das Team sieht.
4. In der zweiten Woche den größten Umweg beseitigen. Ist es das zweite Fenster, holen Sie die Antwort in die Maske, in der gearbeitet wird. Ist es eine Fallart, bei der das Tool falsch liegt, nehmen Sie diese Fallart offen aus dem Umfang.
5. In der dritten Woche die echten Fälle durchgehen. Jede gemeldete falsche Antwort und jede liegen gebliebene Rückfrage, gemeinsam mit dem Team. Ändern Sie die Regeln oder Quellen, die sich als falsch erwiesen haben, und sagen Sie dem Team, was Sie geändert haben.
6. Am Tag 30 entscheiden. Legen Sie die vier Wochen nebeneinander. Hält oder steigt der Anteil, bleibt der Umfang. Fällt er, verkleinern Sie den Umfang auf das, was das Tool sauber kann, und lassen den Rest bei den Leuten, die ihn heute erledigen. Schreiben Sie die Entscheidung mit den Zahlen auf.

Eines kostet nichts. Fragen Sie in der Montagsrunde nach der ersten Zahl. Was die Geschäftsführung jede Woche wissen will, zählt auch jemand.

Was tun, wenn das KI-Tool schon nicht mehr genutzt wird?

Laden Sie nicht zu einer zweiten Auftaktveranstaltung ein. Eine Ankündigung ohne Änderung bestätigt dem Team, dass sich nichts geändert hat.

Fragen Sie fünf Leute nach dem letzten Fall, bei dem sie das Tool versucht und aufgegeben haben. Ordnen Sie die Antworten den fünf Ursachen zu und beheben Sie die Ursache mit den meisten Nennungen. Danach starten Sie mit einem kleinen Ausschnitt neu und zählen vom ersten Tag an.

Waren die Antworten selbst falsch, gehört das Tool für diesen Ausschnitt zurück in den Schattenbetrieb. Dort läuft es mit, und niemand verwendet sein Ergebnis. Sie vergleichen es mit dem Ihrer Leute, bevor Sie wieder scharf schalten.

Manchmal war der Ablauf der falsche für den Anfang, weil er zu wenige Fälle pro Woche hat oder zu viele Sonderfälle. Dann schalten Sie das Tool besser ab und überlegen neu, womit man anfängt.

Mit vier Wochen Zahlen in den Scoping-Call

Liegt bei Ihnen ein Tool, das kaum noch jemand öffnet, bringen Sie die vier Zahlen der letzten vier Wochen in den Scoping-Call mit, soweit Sie sie haben. Dazu fünf Fälle, die jemand trotz Tool von Hand erledigt hat. In den dreißig Minuten beschreiben Sie die Arbeit, die Ihr Team von Hand macht, und wir fragen, durch welche Systeme sie läuft und wie oft. Sie gehen mit unserer Einschätzung, ob Agenten hier helfen. Lautet sie nein, hören Sie das im Gespräch.

Unser Agenten-Build bringt einen Ablauf vom Schattenbetrieb in den Betrieb, auf der Software, die Sie schon nutzen.