Human in the Loop: Warum Delegation keine Zusammenarbeit ist

Wer heute in einem Unternehmen einen KI-Agenten einführt, hört fast immer denselben beruhigenden Satz: Der Mensch bleibt im Loop. Gemeint ist meistens etwas Bescheidenes. Ein Mensch formuliert den Auftrag, der Agent arbeitet, und am Ende sieht sich jemand das Ergebnis an und gibt es frei. Der Mensch steht an der Startlinie und an der Ziellinie. Was dazwischen geschieht, sieht er nicht. Das ist eine legitime Arbeitsform. Zusammenarbeit ist es nicht.

Startlinie und Ziellinie: was „Mensch im Loop“ meistens heißt

Im ersten Teil dieser Serie habe ich das Trilemma der Automatisierung beschrieben: Ein KI-Agent kann autonom, in kritischen Situationen verlässlich oder universell einsetzbar sein, mit heutiger Technik aber nur zwei davon zugleich. Die Kombination, in der die meisten Unternehmen stehen, ist autonom und universell, also nicht durchgehend verlässlich. Daraus folgt ein bestimmtes Betriebsmodell: Delegation mit Nachkontrolle. Der Agent übernimmt viel, irrt manchmal, und ein Mensch fängt die Fehler am Ende ab. Im zweiten Teil stand dieses Modell als eines von fünf Szenarien auf der Landkarte. Hier geht es um das, was es mit den Menschen macht, die darin arbeiten.

Der Unterschied zur Zusammenarbeit liegt im Takt. Bei Delegation wechseln sich Mensch und Maschine ab, in großen Blöcken: Auftrag, lange Laufzeit, Ergebnis, Prüfung. Bei Zusammenarbeit greifen beide laufend ineinander. Der Mensch sieht Zwischenschritte, korrigiert früh, ändert die Richtung, bevor der Fehler sich durch zwanzig Folgeschritte gezogen hat. Gabriel Unger und Arvind Narayanan beschreiben in ihrem Aufsatz vom Oktober 2026 genau diese Lücke: Heutige Systeme beherrschen das Abwechseln, kaum das gemeinsame Arbeiten. Sie nennen das ein ungelöstes Forschungsproblem. Für Unternehmen ist es vor allem ein Gestaltungsproblem, und zwar eines, das sich heute angehen lässt.

Ein alltägliches Beispiel: In der Personalabteilung eines mittelständischen Maschinenbauers erstellt ein Agent aus Bewerbungsunterlagen, Stellenprofil und Tarifgruppe die Entwürfe für Vertragsangebote. Eine Sachbearbeiterin startet den Lauf am Morgen und findet am Nachmittag zwanzig fertige Entwürfe vor. Formal ist sie im Loop. Tatsächlich muss sie jetzt in kurzer Zeit zwanzig Dokumente gegen Tarifvertrag, Betriebsvereinbarungen und Einzelabsprachen prüfen, deren Entstehung sie nicht verfolgt hat. Der Agent hat ihr die Schreibarbeit abgenommen und ihr eine Prüfarbeit hinterlassen, für die niemand Zeit eingeplant hat.

Aufsichtslast: die Prüfarbeit, die in keinem Stellenplan steht

Delegation spart nicht nur Arbeit, sie erzeugt auch welche. Ich nenne sie Aufsichtslast: das Lesen, Nachrechnen, Gegenprüfen und Freigeben von Ergebnissen, die man nicht selbst erarbeitet hat. Diese Arbeit ist real, aber sie hat keinen Ort. Sie steht in keiner Stellenbeschreibung, wird in keiner Personalbemessung berücksichtigt und taucht in keiner Zielvereinbarung auf.

Die Zahlen deuten an, wie groß sie ist. In der BCG-Erhebung vom Juni 2026 geben 47 Prozent der regelmäßigen Nutzer an, mehr Zeit mit dem Steuern der KI zu verbringen als mit der eigentlichen Arbeit (BCG 2026, n = 11.749; Selbstauskunft). Anders Humlum und Emilie Vestergaard finden in dänischen Daten, dass 35 Prozent der neuen KI-bezogenen Aufgaben Qualitätsprüfung, Ethik und Compliance sind (Humlum/Vestergaard 2026). Und eine kontrollierte Studie von METR mit erfahrenen Softwareentwicklern ergab 2025, dass die Teilnehmenden mit KI 19 Prozent langsamer waren, sich aber für 20 Prozent schneller hielten (Becker et al. 2025). Die Stichprobe war klein, METR selbst hält den heutigen Effekt für günstiger. Die Lehre bleibt: Wer seine eigene Geschwindigkeit mit KI einschätzt, irrt sich leicht, und die Prüfzeit ist der Posten, den man am ehesten übersieht.

Ein Prüfer ist in den meisten Unternehmen keine Stelle. Es ist aber vielerorts ein Vollzeitjob.

Dass ein Mensch im Ablauf die Qualität nicht automatisch sichert, zeigt eine Metaanalyse über 106 Experimente: Kombinationen aus Mensch und KI schnitten im Schnitt schlechter ab als die jeweils bessere Seite allein (Vaccaro et al. 2024). Das ist kein Argument gegen den Menschen. Es ist ein Argument dafür, dass die Art der Beteiligung zählt.

Was die Automatisierungsforschung seit Jahrzehnten weiß

Neu ist das Problem nicht. Lisanne Bainbridge hat es 1983 unter dem Titel „Ironies of Automation“ beschrieben: Je mehr eine Anlage selbst erledigt, desto mehr bleibt dem Menschen die schwierigste Aufgabe, nämlich im seltenen Störfall einzugreifen, ohne vorher im Geschehen gewesen zu sein. Leitwarten, Cockpits und Stellwerke haben daraus gelernt. Sie trainieren Eingriffe, begrenzen Schichtlängen und gestalten Anzeigen so, dass der Mensch den Zustand des Systems laufend versteht.

Ein zweiter Befund betrifft das Vertrauen. Raja Parasuraman und Dietrich Manzey haben 2010 den Forschungsstand zu Complacency und Automation Bias zusammengefasst: Menschen neigen dazu, automatisierten Vorschlägen zu folgen und Fehler des Systems zu übersehen, besonders unter Zeitdruck und bei mehreren gleichzeitigen Aufgaben. Das betrifft Laien wie Fachleute, und Schulung allein beseitigt es nicht. Je verlässlicher ein System meistens arbeitet, desto schwerer fällt es, den seltenen Fehler zu bemerken.

Übertragen auf Wissensarbeit heißt das: Wer zehn Entwürfe eines Agenten am Tag freigibt, von denen neun gut sind, wird beim zehnten nicht wacher. Hinzu kommt der Verlust dessen, was Mihaly Csikszentmihalyi als Flow beschrieben hat, das konzentrierte Aufgehen in einer Tätigkeit. Flow braucht Rückmeldung in einem Takt, in dem man bei der Sache bleibt. Warten auf einen Agenten, dann eine Flut von Ergebnissen prüfen, dann wieder warten: Das ist das Gegenteil davon. Berichte über Überlastung bei Programmierern, die mehrere Coding-Agenten parallel beaufsichtigen, sind noch anekdotisch. Sie passen aber zu dem, was die Forschung erwarten lässt.

Überlastung als Thema für den Arbeitsschutz

Für deutsche Unternehmen gibt es einen Hebel, der in der amerikanischen Debatte fehlt: den Arbeitsschutz. § 5 ArbSchG verpflichtet Arbeitgeber, die Gefährdungen bei der Arbeit zu beurteilen, ausdrücklich einschließlich psychischer Belastung. Wenn sich Tätigkeiten durch KI-Agenten verändern, ändert sich die Beurteilungsgrundlage. Daueraufmerksamkeit bei seltenen Fehlern, Freigaben unter Zeitdruck, die Verantwortung für Ergebnisse, die man nicht selbst erzeugt hat, unterbrochene Arbeitsrhythmen: Das sind Belastungsfaktoren, die die Arbeitswissenschaft kennt und beschreiben kann.

Damit wird die Aufsichtslast von einer Befindlichkeitsfrage zu einer Pflichtaufgabe. Und sie wird mitbestimmungspflichtig: Bei der Ausgestaltung der Gefährdungsbeurteilung und der daraus folgenden Maßnahmen hat der Betriebsrat nach § 87 Abs. 1 Nr. 7 BetrVG mitzubestimmen. Ich halte das für eine Chance. Die Gefährdungsbeurteilung ist ein eingeführtes, nüchternes Verfahren, das den Blick von der Technik auf die Arbeit lenkt. Genau dort gehört die Diskussion über Agenten hin.

Menschliche Aufsicht nach dem AI Act

Der AI Act verlangt für Hochrisiko-Systeme in Art. 14 eine wirksame menschliche Aufsicht. Im Personalbereich, bei Auswahl, Beförderung und Leistungsbeurteilung, gelten diese Anforderungen nach Anhang III ab dem 2. Dezember 2027. Wie sie im Einzelnen auszugestalten sind, werden Leitlinien, Normen und Praxis zeigen; ich würde heute vorsichtig sein, daraus konkrete Prüfquoten abzuleiten. Eines lässt sich dem Text aber entnehmen: Die Aufsicht soll Menschen in die Lage versetzen, das System zu verstehen, Fehlentwicklungen zu erkennen und einzugreifen. Ein Abzeichnen am Ende einer langen Laufzeit erfüllt diesen Anspruch schwerlich. Davon unabhängig gilt schon heute Art. 4: Unternehmen müssen die KI-Kompetenz ihrer Beschäftigten fördern. Seit dem Digital Omnibus ist dafür kein bestimmtes Niveau mehr vorgeschrieben, die Pflicht selbst bleibt. Für Aufsichtsrollen ist sie der naheliegende Ansatzpunkt.

Was das für HR und Organisationsentwicklung heißt

Ein Prozess ist erst digital, wenn geklärt ist, wer ihn entscheidet, wer ihn beherrscht und wer ihn führt. Für Delegation mit Nachkontrolle folgen daraus fünf Aufgaben.

Erstens: Prüfzeit als Arbeitszeit planen. Wer Agenten beaufsichtigt, braucht dafür Zeit, und diese Zeit gehört in die Personalbemessung und in die Ziele. Solange Prüfarbeit als Nebenbei-Tätigkeit gilt, wird sie unter Druck als Erstes verkürzt, und mit ihr die Qualität.

Zweitens: Eingriffsrechte und Abbruchkriterien festlegen. Die prüfende Person muss einen Lauf stoppen, ein Ergebnis zurückweisen und den Prozess anhalten dürfen, ohne sich rechtfertigen zu müssen. Vorher sollte feststehen, bei welchen Anzeichen das geschieht.

Drittens: Rollen mit echter Steuerungsmöglichkeit schneiden. Wo es geht, sollte Delegation zu Zusammenarbeit werden: Zwischenstände sichtbar machen, kleinere Arbeitspakete schneiden, früh korrigieren. Eine Rolle, die nur abnimmt, aber nichts beeinflusst, trägt Verantwortung ohne Gestaltungsmacht. Wie man Agentenarbeit im Organigramm verortet, habe ich in „Ist ein KI-Agent eine Stelle?“ beschrieben.

Viertens: Nach Art. 4 qualifizieren, und zwar für die Aufsicht. Gemeint ist nicht Bedienwissen, sondern Urteilskompetenz: typische Fehlerbilder kennen, Plausibilität prüfen, die Grenzen des Systems einschätzen, dem eigenen Vertrauen misstrauen. Unsere HTW-Studie mit HR-Fachkräften hat gezeigt, dass Tempo kein Urteil ersetzt.

Fünftens: Die Mitbestimmung bei Gestaltung und Bewertung nutzen. Der Betriebsrat ist nicht nur bei der Frage gefragt, welche Daten ein System erhebt (§ 87 Abs. 1 Nr. 6 BetrVG), sondern auch bei der Belastung (Nr. 7). Aufsichtsrollen überwachen in zwei Richtungen: Der Mensch kontrolliert den Agenten, und das System protokolliert den Menschen. Eine Betriebsvereinbarung kann beides ordnen, und sie kann regeln, wie bewertet wird, wenn ein Fehler durchrutscht. Mitbestimmung ist hier keine Bremse, sondern eine Gestaltungsressource, gerade im Mittelstand, wo die Fachleute, die prüfen sollen, ohnehin knapp sind.

Delegation mit Nachkontrolle wird für viele Prozesse noch lange der Normalfall bleiben. Sie sollte aber eine bewusste Wahl sein, mit eingeplanter Aufsicht, und kein Zustand, in den man hineinrutscht. Im nächsten Teil geht es um die Frage, wem das Prozesswissen gehört, aus dem Agenten lernen.

Wenn Sie diese Fragen mit Ihrer Führung, Ihrem HR-Bereich oder Ihrem Betriebsrat diskutieren möchten, spreche ich darüber gern in einem Vortrag.

Im nächsten Teil (Montag, 09.11.): Prozesswissen als Kapital. Wem gehört die Erfahrung, aus der Agenten lernen?

Literatur

Bainbridge, L. (1983): Ironies of Automation. Automatica 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

BCG (03.06.2026): AI Is Reshaping Jobs Faster Than Companies Are Reshaping Work. Pressemitteilung zu „AI at Work 2026“, n = 11.749. https://www.bcg.com/press/3june2026-ai-reshaping-jobs-faster-than-companies-reshaping-work

Becker, J./Rush, N./Barnes, E./Rein, D. (10.07.2025): Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR.

Csikszentmihalyi, M. (1990): Flow. The Psychology of Optimal Experience. New York: Harper & Row.

Humlum, A./Vestergaard, E. (2026): Still Waters, Rapid Currents. NBER Working Paper 33777, rev. 03/2026. https://www.nber.org/papers/w33777

Parasuraman, R./Manzey, D. H. (2010): Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors 52(3), 381–410. https://doi.org/10.1177/0018720810376055

Unger, G./Narayanan, A. (14.10.2026): Steering AI Beyond Automation: A Research Agenda and Plan for Action. AI as Normal Technology (Substack). https://www.normaltech.ai/p/steering-ai-beyond-automation

Vaccaro, M./Almaatouq, A./Malone, T. (2024): When Combinations of Humans and AI Are Useful: A Systematic Review and Meta-Analysis. Nature Human Behaviour 8, 2293–2303. https://doi.org/10.1038/s41562-024-02024-1

Arbeitsschutzgesetz (ArbSchG), § 5. Betriebsverfassungsgesetz (BetrVG), § 87 Abs. 1 Nr. 6 und 7.

Verordnung (EU) 2024/1689 (AI Act), Art. 4, Art. 14, Anhang III, in der Fassung der Verordnung (EU) 2026/1744 (Digital Omnibus). https://eur-lex.europa.eu/eli/reg/2024/1689

Was ist der Unterschied zwischen Delegation und Zusammenarbeit mit KI? Bei Delegation gibt der Mensch einen Auftrag, der Agent arbeitet ihn allein ab, und der Mensch prüft das Ergebnis. Bei Zusammenarbeit steuert der Mensch laufend mit, korrigiert früh und in kleinen Schritten. Delegation bündelt die Prüfarbeit am Ende, Zusammenarbeit verteilt sie über den Prozess.

Was ist Automation Bias? Die Neigung, Vorschlägen eines automatisierten Systems zu folgen, auch wenn andere Hinweise dagegen sprechen, und Fehler des Systems zu übersehen. Parasuraman und Manzey (2010) haben den Forschungsstand zusammengefasst: Der Effekt tritt bei Laien wie Fachleuten auf und lässt sich durch Training allein nicht beseitigen.

Muss die Aufsicht über KI-Agenten in die Gefährdungsbeurteilung? Wenn sie die Arbeitsbedingungen verändert, ja. § 5 ArbSchG verlangt, Gefährdungen einschließlich psychischer Belastung bei der Arbeit zu beurteilen. Daueraufmerksamkeit, Zeitdruck bei Freigaben und Verantwortung für Fehler, die man nicht selbst gemacht hat, sind solche Faktoren. Bei der Ausgestaltung hat der Betriebsrat nach § 87 Abs. 1 Nr. 7 BetrVG mitzubestimmen.

Was verlangt der AI Act zur menschlichen Aufsicht? Für Hochrisiko-Systeme, im Personalbereich etwa für Auswahl, Beförderung und Leistungsbeurteilung, verlangt Art. 14 eine wirksame menschliche Aufsicht; diese Pflichten greifen nach Anhang III ab dem 2. Dezember 2027. Wie das im Einzelfall auszugestalten ist, wird sich erst in Leitlinien und Praxis zeigen. Klar ist: Ein bloßes Abzeichnen dürfte dem Wortlaut kaum genügen.