AI Radar ist die monatliche Kolumne von Jasmin Guthmann zu Agentic AI, Business Transformation und der Zukunft digitaler Wertschöpfung. Mit ihrer langjährigen Erfahrung in Technologie, Transformation und KI gehört sie zu den etablierten Stimmen, wenn es um die Zukunft digitaler Wertschöpfung geht. Im April 2025 erschien ihr Buch If There Is a Will, There Is a Way: Ein kompromissloser Leitfaden, Potenzial freizusetzen, indem man sich auf das konzentriert, was wirklich zählt. Ihre Botschaft: handeln, Verantwortung übernehmen, Haltung zeigen.
In der diva-e Conclusion Kolumne AI Radar teilt sie ihre Erfahrungen aus der Praxis, ordnet aktuelle Entwicklungen ein, hinterfragt Trends und zeigt, was technologische Veränderungen für Unternehmen, Führung und Organisationen bedeuten.
Alle akzeptieren
Ich habe ungefähr zehntausendmal auf „Alle akzeptieren“ bei Cookie-Bannern geklickt. Gelesen habe ich sie kein einziges Mal.
Letzten Dienstag habe ich in München in unter einer Sekunde die Nutzungsbedingungen für das Hotel-WLAN akzeptiert – zwischen zwei E-Mails. Noch bevor die Seite fertig geladen war, war ich schon wieder in meinem Posteingang. Rechtlich gesehen habe ich zugestimmt. Tatsächlich wollte ich einfach nur ins WLAN.
Dieser Klick bringt ziemlich genau auf den Punkt, was gerade mit KI in Unternehmen passiert. Denn genau so sieht „Human in the Loop“ jenseits von Präsentations-Slides aus.
Der Loop ist leer
Fragt man Aufsichtskomitees, wie KI-Agenten kontrolliert werden, bekommt man immer dieselbe Antwort: Human in the Loop – ein Mensch gibt die Ergebnisse frei. Klingt verantwortungsvoll. Klingt nach Kontrolle.
Geht man dann zwei Stockwerke tiefer und schaut sich diese Person an, sieht die Sache anders aus: Sie bekommt jeden Tag 300 Anfragen von KI-Agenten: passende Lieferanten, Ticket-Klassifizierungen, Antwortentwürfe, Preisanpassungen. In 95 Prozent der Fälle liegt der Agent richtig. Und niemand weiß ad-hoc, welche fünf Prozent falsch sind.
Also macht die verantwortliche Person das, was Sie wahrscheinlich auch tun würden: Sie gibt die Ergebnisse frei. Jede Woche ein bisschen schneller. Spätestens in der sechsten Woche wird nicht mehr alles genau gegengeprüft. Das ist nur noch ein zusätzlicher Schritt, der alles verlangsamt.
Das ist kein persönlicher Fehler. Es ist eine der am häufigsten bestätigten Erkenntnisse der Forschung zu menschlichem Verhalten und Automatisierung seit den 1990er-Jahren: Je besser die Automatisierung funktioniert, desto weniger kontrolliert der Mensch.
Die Luftfahrt hat das auf die harte Tour gelernt. 2013 warnte die US-Luftfahrtbehörde FAA Fluggesellschaften und forderte sie auf, Piloten wieder häufiger von Hand fliegen zu lassen. Der Grund: Der Autopilot hatte ihre manuellen Fähigkeiten schleichend verkümmern lassen.
Piloten. Jahrelange Ausbildung. Alle sechs Monate Training im Simulator. Und trotzdem ist es passiert. Ihr:e Mitarbeiter:in im Einkauf hat eine Teams-Nachricht und eine zwanzigminütige Einführung bekommen.
Compliance per Häkchen
Der EU AI Act schreibt für Hochrisiko-KI-Systeme menschliche Kontrolle vor. Er schreibt aber nicht vor, dass der Mensch die KI-Inhalte tatsächlich verstehen muss. Nirgendwo steht, dass er genügend Zeit und Kontext braucht oder ohne endlose Feedbackschleifen auch einfach Nein klicken kann.
Also machen Unternehmen das, was sie bei solchen Anforderungen häufig tun: Sie erfüllen den Wortlaut. Ein Name in einem Feld. Ein Button mit der Aufschrift „Freigeben“. Ein Protokoll, das belegt, dass jemand dabei war.
Wer ist dieser Human in the Loop wirklich?
Die unbequeme Wahrheit lautet: Dieser Ansatz soll in vielen Fällen gar nicht in erster Linie Fehler aufdecken. Er sollen dafür sorgen, dass es jemanden gibt, dem man die Schuld geben kann. Der KI-Agent trifft die Entscheidung. Der Mensch segnet sie ab. Wenn etwas schiefgeht, weiß das Organigramm, wo es nach einem Verantwortlichen suchen muss.
Das ist keine gute Steuerung. Das ist eine Verlagerung der Haftung – mit Benutzerkonto.
Also gar keine Menschen mehr im Loop?
Nein. Dieser Prozess braucht keinesfalls weniger Menschen – sie müssen nur dort eingesetzt werden, wo sie wirklich etwas beitragen. Stellen Sie sich dazu folgende Fragen:
Liefert der Mensch zusätzliche Informationen oder nur seine Unterschrift?
Wenn jede Freigabe ein Ja ist, ist dieser Schritt reine Show. Schaffen Sie diesen Schritt ab und nutzen Sie die gewonnene Zeit lieber für eine wöchentliche Stichprobenprüfung, bei der jemand zwanzig Fälle gründlich durchgeht. Mit einer Tasse Kaffee.
Muss sich der KI-Agent seine Freiheiten verdienen, oder bekommt er sie einfach?
Ein Agent sollte zunächst nur begrenzte Befugnisse haben. Diese sollten Schritt für Schritt erweitert werden – und zwar auf Grundlage nachweislich guter Ergebnisse. Ein neuer Mitarbeitender bekommt schließlich auch nicht gleich in seiner ersten Woche die volle Entscheidungsbefugnis im Einkauf.
Passiert etwas, wenn der Mensch Nein sagt?
Wenn eine Ablehnung im Nichts verschwindet und niemand danach fragt, warum der Agent falsch lag, gibt es keine echte Kontrolle. Das ist ein Beschwerdekasten ohne Boden.
Qualität lässt sich nicht sicherstellen, indem man am Ende der Produktionslinie jemanden abstellt, der die fertigen Produkte kontrolliert. Entscheidend ist, die Prozesse von Anfang an so zu gestalten, dass Fehler möglichst gar nicht erst entstehen. Nur so lässt sich regelmäßig überprüfen, ob das auch funktioniert.
Und wer klickt bei Ihnen?
Die meisten Unternehmen, mit denen ich spreche, können drei Fragen nicht beantworten:
Welche Entscheidungen eines KI-Agenten kann ein Mensch tatsächlich rückgängig machen?
Wie viele Entscheidungen hat ein Mensch im vergangenen Monat rückgängig gemacht?
Und was ist anschließend mit dem KI-Agenten passiert?
Wenn die Antworten „Wissen wir nicht“, „Keine“ und „Nichts“ lauten, dann ist der Human genauso in den Loop eingebunden wie ich in den Cookie-Banner: Anwesend. Zustimmend. Abwesend.
Irgendwo in Ihrem Unternehmen gibt gerade jemand die Ergebnisse eines KI-Agenten frei, ohne sie wirklich zu prüfen. Finden Sie heraus, warum das passiert. Sie möchten wissen, wie Sie KI-Agenten sinnvoll steuern und menschliche Kontrolle wirksam gestalten?
