Wer abzeichnet, regelt nichts: Was „Human in the Loop“ wirklich verlangt

Kurz gesagt

Was heißt „Human in the Loop“ eigentlich? Der Begriff kommt aus der Regelungstechnik. Ein Loop ist ein Regelkreis, in dem gemessen, verglichen und nachgestellt wird, und zwar immer wieder. Im Loop ist ein Mensch dann, wenn seine Rückmeldung den nächsten Durchgang verändert. Ursprünglich war er selbst der Regler, etwa am Steuer eines Flugzeugs. Mit dem Computer wurde er zum Überwacher, der Vorgaben macht und eingreift. In der Debatte über autonome Waffen unterscheidet man zwischen „in“, „on“ und „out of the loop“. Im maschinellen Lernen ist der Mensch Lehrer und Bewerter, der AI Act verlangt für Hochrisiko-Systeme eine wirksame menschliche Aufsicht. In vielen Unternehmen heißt der Begriff heute nur noch, dass jemand am Ende freigibt. Ob das reicht, entscheiden vier Dinge: die Position im Kreis, die Möglichkeit zum Eingriff, die Zeit dafür und die Kompetenz zum Urteil.

Ein Thermostat im Wohnzimmer arbeitet in einer Schleife, die nie aufhört. Er misst die Raumtemperatur und vergleicht sie mit den 21 Grad, die Sie eingestellt haben. Ist es zu kalt, öffnet er das Ventil am Heizkörper ein Stück weiter und misst danach von Neuem. Diese Schleife nennt die Technik einen Regelkreis, auf Englisch „control loop“. Wer heute sagt, der Mensch bleibe „im Loop“, greift auf genau dieses Bild zurück. Offen bleibt dabei meistens, an welcher Stelle der Schleife dieser Mensch eigentlich steht.

Was ein Regelkreis ist und woher das Wort Loop kommt

Ein Regelkreis besteht aus wenigen Teilen. Ein Fühler misst den aktuellen Zustand, im Beispiel die Temperatur im Raum. Ein Regler vergleicht diesen Istwert mit dem Sollwert, also mit dem Zustand, den Sie sich wünschen. Ein Stellglied greift ein, beim Heizkörper ist das Ventil diese Stelle. Entscheidend ist die Rückkopplung, englisch „feedback“. Dabei wird die Wirkung des Eingriffs wieder gemessen und fließt in den nächsten Durchgang ein. So wird aus einer Kette von Schritten ein Kreis, von dem der Loop seinen Namen hat.

Dass dieses Prinzip in Maschinen und Lebewesen gleich funktioniert, hat der Mathematiker Norbert Wiener 1948 zum Gegenstand eines eigenen Forschungsfelds gemacht. Sein Buch trug den Titel „Cybernetics: Or Control and Communication in the Animal and the Machine“. Den Namen Kybernetik bildete Wiener nach eigener Auskunft aus dem griechischen Wort für Steuermann. Dabei verwies er auf die Rudermaschine eines Schiffes, die er zu den frühesten gut entwickelten Rückkopplungen zählte. Das Bild trägt bis heute, denn auch ein Steuermann sieht die Abweichung vom Kurs, legt das Ruder nach und prüft danach, ob das Schiff wieder richtig liegt. Er ist selbst ein Regler, der zufällig ein Mensch ist.

Vom Menschen als Regler zum Menschen als Überwacher

Lange war der Mensch in vielen technischen Kreisen selbst der Regler. Wer ein Flugzeug von Hand fliegt, schließt den Kreis mit Augen, Kopf und Händen. Die Instrumente zeigen die Lage, der Pilot vergleicht sie mit dem gewünschten Flugweg und bewegt daraufhin das Steuer. In diesem Sinn beschreibt „Human in the Loop“ zunächst eine schlichte Tatsache, denn ohne den Menschen bliebe der Kreis offen.

Dazu passt ein Sprachgebrauch, der in der Luftfahrtforschung bis heute verbreitet ist. Eine Human-in-the-Loop-Simulation ist ein Versuch, in dem echte Menschen ein neues System bedienen, statt dass ein Rechenmodell ihr Verhalten nachspielt. Die NASA hat auf diese Weise 2017 neue Werkzeuge für die Abflugplanung am Flughafen Charlotte erprobt, mit ehemaligen Fluglotsen an den Arbeitsplätzen.

Mit dem Computer änderte sich die Rolle des Menschen grundlegend. Der MIT-Professor Thomas B. Sheridan beschrieb in den 1970er-Jahren eine Arbeitsform, für die er den Ausdruck Supervisory Control verwendete, auf Deutsch etwa überwachende Steuerung. Der Rechner regelt den Prozess dabei fortlaufend selbst. Der Mensch verteilt seine Aufmerksamkeit auf mehrere Anzeigen und gibt dem Rechner von Zeit zu Zeit neue Vorgaben (Sheridan 1976; Sheridan 1992). Ein vertrautes Bild dafür ist der Autopilot. Die Pilotin stellt Kurs und Höhe ein und beobachtet, ob das Flugzeug beides hält, statt jede Bewegung selbst zu steuern. Der Mensch ist damit aus dem inneren Kreis herausgetreten und sitzt nun eine Ebene höher.

Stufen der Automatisierung und ihre Nebenwirkungen

Zwischen ganz von Hand und ganz automatisch liegen viele Zwischenstufen. Sheridan und Verplank haben 1978 in einem MIT-Bericht über ferngesteuerte Unterwassergeräte eine Skala mit zehn Stufen vorgeschlagen. Auf der untersten Stufe bietet der Computer keine Hilfe, sodass der Mensch alles allein entscheidet und ausführt. Auf Stufe 5 führt der Computer einen Vorschlag aus, sobald der Mensch zustimmt. Auf Stufe 6 lässt er dem Menschen eine begrenzte Zeit für ein Veto und handelt danach von selbst. Auf der obersten Stufe entscheidet er alles und übergeht den Menschen vollständig. Für Organisationen ist vor allem der Schritt von Stufe 5 zu Stufe 6 lehrreich, weil sich dort die Rolle des Menschen umkehrt. Bei Stufe 5 geschieht nichts ohne seine Zustimmung, bei Stufe 6 geschieht alles, wenn er nicht rechtzeitig widerspricht.

Parasuraman, Sheridan und Wickens haben dieses Modell im Jahr 2000 erweitert. Sie unterscheiden vier Arten von Aufgaben, die sich automatisieren lassen: Informationen erfassen, Informationen auswerten, eine Entscheidung wählen und die Handlung ausführen. Für jede lässt sich die Stufe getrennt festlegen, sodass ein System beim Sammeln von Daten fast alles allein tun und die Entscheidung trotzdem dem Menschen überlassen kann. Als wichtigsten Maßstab nennen die Autoren die Folgen für den Menschen. Dazu zählen sie die Arbeitsbelastung, das Lagebewusstsein im Sinne des Wissens darüber, was im System gerade vor sich geht, und den Verlust von Fertigkeiten. Hinzu kommt die Complacency, eine Sorglosigkeit, die aus der Gewohnheit entsteht, dass die Technik meistens funktioniert.

Warum diese Folgen schwer wiegen, hat Lisanne Bainbridge 1983 unter dem Titel „Ironies of Automation“ beschrieben. Nach ihrem Befund kann Automatisierung die Probleme mit dem Bediener vergrößern, statt sie zu beseitigen. Im klassischen Ansatz bleibt dem Menschen die Verantwortung für den Störfall und damit ausgerechnet für die Lage, in der er am wenigsten Übung hat. Parasuraman und Manzey haben 2010 einen verwandten Effekt zusammengefasst, den die Forschung Automation Bias nennt. Gemeint ist die Neigung, sich zu sehr auf automatische Vorschläge zu verlassen und Fehler des Systems zu übersehen. Beide Befunde habe ich im Top-Thema dieser Ausgabe ausführlicher dargestellt.

Positionen zum Kreis aus der Debatte über autonome Waffen

Die heute bekannteste Unterscheidung stammt aus der Debatte über autonome Waffen. Human Rights Watch und die International Human Rights Clinic der Harvard Law School haben sie 2012 im Bericht „Losing Humanity“ verwendet, um Systeme nach dem Grad menschlicher Beteiligung zu ordnen. „Human in the loop“ heißt dort, dass ein System nur auf menschlichen Befehl handelt. „Human on the loop“ heißt, dass es selbst handelt, während ein Mensch beobachtet und eingreifen kann. „Human out of the loop“ heißt, dass es ganz ohne menschliche Beteiligung handelt. Übertragen auf alltägliche Technik sieht das etwa so aus.

Das US-Verteidigungsministerium hat im November 2012 die Directive 3000.09 zur Autonomie in Waffensystemen erlassen und sie im Januar 2023 neu gefasst. Danach sollen Systeme so gebaut sein, dass Kommandeure und Bediener „appropriate levels of human judgment over the use of force“ ausüben können, also ein angemessenes Maß an menschlichem Urteil. Der Wissenschaftliche Dienst des US-Kongresses weist darauf hin, dass dieses Urteil keine manuelle Steuerung der Waffe verlangt (Sayler 2024). Diese Trennung von Urteilen und Steuern ist weit über das Militär hinaus nützlich.

Der Mensch im maschinellen Lernen und im europäischen Recht

Im maschinellen Lernen hat der Begriff eine eigene Bedeutung bekommen. Maschinelles Lernen heißt, dass ein Programm Regeln aus Beispielen ableitet, statt sie einprogrammiert zu bekommen. Dafür braucht es Beispiele, die jemand beschriftet hat, etwa Fotos mit dem Vermerk „Katze“ oder „keine Katze“. Dieses Beschriften heißt Labeln und ist Menschenarbeit, die oft viel Zeit und Geld kostet. Beim aktiven Lernen sucht das Programm deshalb selbst aus, welche Fälle ein Mensch beschriften soll, häufig jene, bei denen es am unsichersten ist (Settles 2009). Das gleicht einem Schüler, der seiner Lehrerin nur die Aufgaben vorlegt, die er noch nicht versteht.

Bei großen Sprachmodellen kam ein weiteres Verfahren hinzu, das Reinforcement Learning from Human Feedback, kurz RLHF, also Lernen aus menschlichen Rückmeldungen. Christiano und Kollegen zeigten 2017, dass ein System lernen kann, wenn Menschen jeweils zwei kurze Ausschnitte seines Verhaltens vergleichen und den besseren wählen. Ouyang und Kollegen übertrugen das Prinzip 2022 auf Sprachmodelle, indem Menschen Beispielantworten schrieben und verschiedene Antworten des Modells in eine Rangfolge brachten. Der Mensch ist hier wieder Teil eines Kreises, allerdings in einer neuen Rolle. Statt einen laufenden Vorgang zu regeln, lehrt und bewertet er, meist bevor das System überhaupt eingesetzt wird.

Der europäische AI Act überträgt den Gedanken ins Recht. Art. 14 verlangt, dass Hochrisiko-KI-Systeme während ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können. Hochrisiko heißt, dass ein System in einem besonders sensiblen Bereich arbeitet, im Personalwesen etwa bei Einstellung, Beförderung oder Bewertung von Beschäftigten (Erwägungsgrund 57, Anhang III). Nach Art. 14 Abs. 4 sollen die Aufsichtspersonen unter anderem die Fähigkeiten und Grenzen des Systems verstehen und sich der Neigung zum Automatisierungsbias bewusst bleiben. Sie sollen die Ausgabe außer Acht lassen und den Betrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen können. Art. 26 Abs. 2 verpflichtet die Betreiber, die Aufsicht Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis zu übertragen. Was das im Einzelfall heißt, werden Leitlinien und Praxis zeigen. Eine rechtliche Prüfung ersetzt dieser Überblick nicht.

Was der Begriff verlangt und wie er sich verschoben hat

Führt man die Linien zusammen, hängt die Frage, ob ein Mensch tatsächlich im Loop ist, an vier Bedingungen. Die erste ist seine Position, also ob er vor der Wirkung zustimmt wie bei Stufe 5 oder nur nachträglich widersprechen kann wie bei Stufe 6. Die zweite ist die Möglichkeit zum Eingriff, denn der Mensch braucht ein Mittel, um eine Ausgabe zu verwerfen oder den Betrieb anzuhalten. Die dritte ist die Zeit, weil ein Veto, für das nur wenige Sekunden bleiben, ein Eingriffsrecht mit geringem praktischem Wert ist. Die vierte ist die Kompetenz zum Urteil. Wer die Grenzen eines Systems nicht kennt, wird seine Fehler kaum erkennen, auch wenn er formal jedes Ergebnis freigibt.

Die Bedeutung des Begriffs hat sich dabei deutlich verschoben. Beim Steuermann und beim Piloten war der Mensch der Regler im Kreis, bei Sheridan wurde er zum Überwacher eine Ebene darüber. In der Waffendebatte ging es um die Frage, ob er vor oder neben dem Kreis steht. Im maschinellen Lernen wurde er zum Lehrer und Bewerter. In vielen Unternehmen bedeutet „Human in the Loop“ heute vor allem, dass am Ende jemand ein Ergebnis prüft und freigibt. Der Ausdruck ist derselbe geblieben, während sich der Platz des Menschen im Kreis mehrfach verändert hat.

Ein Mensch, der nur am Ende abzeichnet, steht neben dem Kreis. Im Loop ist er erst, wenn seine Rückmeldung den nächsten Durchgang verändert.

Wie beim Thermostat lebt ein Regelkreis davon, dass die Messung den nächsten Eingriff bestimmt. Eine Freigabe, die nichts zurückmeldet und am weiteren Ablauf nichts ändert, schließt keinen Kreis, sondern ist eine Kontrolle am Ausgang. Das kann im Einzelfall genügen, hat mit dem ursprünglichen Gedanken des Loops aber nur noch wenig zu tun.

Was das für Organisationen heißt

Für Unternehmen und Verwaltungen folgen daraus vier Aufgaben, die vor der Einführung eines KI-Systems geklärt sein sollten. Die erste betrifft die Rolle. Es sollte schriftlich feststehen, ob ein Mensch vorher zustimmt, laufend beobachtet oder nachträglich prüft. Daraus ergibt sich, welche Verantwortung er überhaupt tragen kann.

Die zweite Aufgabe betrifft die Zeit. Aufsicht ist Arbeit und braucht deshalb einen Platz in der Personalplanung, weil Freigaben, die nebenbei erledigt werden, kaum Raum für gründliches Prüfen lassen. Die Befunde zu Complacency und Automation Bias legen nahe, dass guter Wille allein diese Lücke nicht schließt.

Die dritte Aufgabe betrifft die Kompetenz. Wer beaufsichtigt, muss typische Fehler des Systems kennen und dessen Ausgaben einordnen können. Diese Urteilskompetenz geht deutlich über Bedienwissen hinaus. Der AI Act nennt für Hochrisiko-Systeme ausdrücklich Kompetenz, Ausbildung und Befugnis als Voraussetzungen der Aufsicht.

Die vierte Aufgabe betrifft die Befugnis zum Anhalten. Die prüfende Person muss einen Vorgang stoppen und ein Ergebnis zurückweisen dürfen, ohne dafür Nachteile befürchten zu müssen. Vorher sollte außerdem feststehen, bei welchen Anzeichen das geschieht, damit die Stopptaste im Ernstfall auch gedrückt wird.

Wie sich diese Fragen stellen, wenn Agenten eigenständig arbeiten, beschreibt das Top-Thema der November-Ausgabe, Human in the Loop: Warum Delegation keine Zusammenarbeit ist (№ 098). Dort geht es um Aufsichtslast, Arbeitsschutz und Mitbestimmung. Wenn Sie Rollen, Prüfzeiten und Eingriffsrechte für Ihre eigene Organisation durchdenken möchten, ist das KI-Organisationslabor der Ort dafür.

Literatur

Bainbridge, L. (1983): Ironies of Automation. Automatica 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Christiano, P./Leike, J./Brown, T. B./Martic, M./Legg, S./Amodei, D. (2017): Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741. https://arxiv.org/abs/1706.03741

Human Rights Watch/International Human Rights Clinic, Harvard Law School (19.11.2012): Losing Humanity. The Case against Killer Robots. https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots

NASA (28.02.2017): Airspace Technology Demonstration 2 (ATD-2) Human-In-The-Loop (HITL) Shakedown Simulation at FutureFlight Central and Airspace Operations Laboratory. https://www.nasa.gov/aeronautics/air-traffic-solutions/atd2-hitl-shakedown-sim-at-ffc-and-aol/

Ouyang, L./Wu, J./Jiang, X./Almeida, D./Wainwright, C. L. et al. (2022): Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155. https://arxiv.org/abs/2203.02155

Parasuraman, R./Manzey, D. H. (2010): Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors 52(3), 381–410. https://doi.org/10.1177/0018720810376055

Parasuraman, R./Sheridan, T. B./Wickens, C. D. (2000): A Model for Types and Levels of Human Interaction with Automation. IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans 30(3), 286–297. https://doi.org/10.1109/3468.844354

Sayler, K. M. (2024): Defense Primer: U.S. Policy on Lethal Autonomous Weapon Systems. Congressional Research Service, In Focus IF11150, Stand 01.02.2024. https://www.everycrsreport.com/files/2024-02-01_IF11150_e739afb72452637c9087ce6bb5cb67b7115a64d2.html

Settles, B. (2009): Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison. https://research.cs.wisc.edu/techreports/2009/TR1648.pdf

Sheridan, T. B. (1976): Toward a General Model of Supervisory Control. In: Sheridan, T. B./Johannsen, G. (Hg.): Monitoring Behavior and Supervisory Control. Boston: Springer, 271–281. https://doi.org/10.1007/978-1-4684-2523-9_22

Sheridan, T. B. (1992): Telerobotics, Automation, and Human Supervisory Control. Cambridge, MA: MIT Press.

Sheridan, T. B./Verplank, W. L. (1978): Human and Computer Control of Undersea Teleoperators. Technical Report, Man-Machine Systems Laboratory, Massachusetts Institute of Technology. NTIS/DTIC ADA057655.

U.S. Department of Defense (21.11.2012, Neufassung 25.01.2023): DoD Directive 3000.09, Autonomy in Weapon Systems.

Wiener, N. (1948): Cybernetics: Or Control and Communication in the Animal and the Machine. New York: Wiley; Paris: Hermann.

Verordnung (EU) 2024/1689 (AI Act), Art. 14, Art. 26 Abs. 2, Erwägungsgrund 57, Anhang III. https://eur-lex.europa.eu/eli/reg/2024/1689