Zum Inhalt springen
Prof. Dr. Kai Reinhardt Kontakt
Menü
Grundlagen · 9 Min.

Moral Crumple Zone: Warum der Mensch die Schuld für KI-Fehler bekommt

Ein Ventil klemmt, ein Sensor vereist, eine Software erkennt eine Fußgängerin nicht. Am Ende steht in der Zeitung trotzdem „menschliches Versagen“. Die Anthropologin Madeleine Clare Elish hat diesem Muster 2019 einen Namen gegeben. Er passt auf jede Organisation, die Ergebnisse von KI-Agenten durch Menschen freigeben lässt.

Prof. Dr. Kai Reinhardt14. November 2026 · 9 Min. Lesezeit

GrundlagenAusgabe 1 · November 2026

Kurz gesagt

Was ist eine Moral Crumple Zone? Der Begriff beschreibt, dass die Verantwortung für das Versagen eines automatisierten Systems dem Menschen zugeschrieben wird, der am nächsten dran saß, obwohl er das System nur begrenzt steuern konnte. Geprägt hat ihn Madeleine Clare Elish 2019 in der Zeitschrift „Engaging Science, Technology, and Society“. Das Bild stammt vom Auto. Dort fängt die Knautschzone den Aufprall ab und schützt den Menschen. Bei der Moral Crumple Zone fängt der Mensch die Schuld ab und schützt das Ansehen der Technik. Elish zeigt das am Reaktorunfall von Three Mile Island 1979, am Absturz von Air France 447 im Jahr 2009 und an selbstfahrenden Autos. Experimente stützen das Muster. Für KI-Agenten in Organisationen ist die Übertragung ein Analogieschluss. Elish schreibt über die Wahrnehmung von Schuld und ausdrücklich nicht über rechtliche Haftung.

Am 28. März 1979 gegen 4 Uhr morgens schaltet sich im Kernkraftwerk Three Mile Island in Pennsylvania der Reaktor von Block 2 selbst ab. Ein Ventil öffnet sich wie vorgesehen, um Druck abzulassen. Dann klemmt es und bleibt offen. Im Kontrollraum überlagern sich Warnlampen und Warntöne. Die Bediener an den Pulten können nicht direkt ablesen, wie viel Kühlwasser noch vorhanden ist, denn eine Anzeige dafür gibt es nicht. Sie schließen aus einem anderen Messwert, dass zu viel Wasser fließt, und schalten die Notpumpen ab. Es ist die falsche Entscheidung.

Was danach in der Zeitung stand.

Knapp 2 Wochen später, am 11. April 1979, steht auf der Titelseite der Los Angeles Times, der Atomunfall gehe in erster Linie auf menschliches Versagen zurück. Spätere Berichte zeigten, dass mehr als ein Drittel des Reaktorkerns geschmolzen war. Todesfälle wurden dem Unfall nicht direkt zugerechnet.

War es menschliches Versagen? Zum Teil ja, und das bestreitet auch die Autorin nicht, von der diese Schilderung stammt. Die Anthropologin Madeleine Clare Elish hat den Fall 2019 in einem Aufsatz neu aufgerollt. Die Bediener haben die Pumpen abgeschaltet, das steht fest. Elish fragt aber, was sie in diesem Moment wissen konnten. Die Automatik kannte den Wasserstand. Die Menschen im Kontrollraum mussten ihn aus dem Füllstand eines anderen Behälters erschließen, und dieser Behälter blieb während des Unfalls voll. Sie entschieden falsch, weil sie falsche Informationen hatten.

Dazu kam eine Vorgeschichte. Die verstopfte Leitung, mit der alles begann, hatte nach Elishs Darstellung schon Wochen vorher Probleme gemacht. Die Betriebsleitung hatte den Reaktor trotzdem weiterlaufen lassen. Ein anderes Ventil war 2 Tage zuvor nach einer Prüfung versehentlich geschlossen geblieben, und im Kontrollraum zeigte das nichts an. Die Untersuchungskommission des Präsidenten empfahl später, Kontrollräume stärker am Menschen auszurichten.

In den Schlagzeilen blieb davon wenig übrig. Dort standen die Bediener.

Der zweite Fall in Elishs Aufsatz liegt 30 Jahre später. 2009 stürzt Air France 447 auf dem Weg von Brasilien nach Frankreich in den Atlantik, alle 228 Menschen an Bord sterben. Eiskristalle hatten die Sonden verstopft, die die Geschwindigkeit messen. Der Autopilot bekam keine brauchbaren Werte mehr, und die Steuerung ging an die Piloten über. Einer der beiden jüngeren Piloten zog die Nase des Flugzeugs nach oben, was die Lage verschlimmerte. Zwischen dem Vereisen der Sonden und dem Aufprall lagen 4 Minuten und 20 Sekunden. Der französische Untersuchungsbericht nannte 2012 mehrere Ursachen, darunter die Rückmeldungen des Systems, die Ausbildung und die Reaktion der Besatzung. Amerikanische Medien stellten nach Elishs Auswertung vor allem die Piloten heraus. Dass der Hersteller das Problem mit den Sonden kannte und sie an diesem Flugzeug noch nicht getauscht waren, stand im Beispiel, das sie zitiert, erst in der zweiten Hälfte des Textes.

Was bedeutet Moral Crumple Zone?

Für dieses Muster hat Elish einen Namen gefunden. Sie nennt es Moral Crumple Zone, wörtlich eine moralische Knautschzone.

Merkkasten Moral Crumple Zone in 3 Schritten: Das System steuert den größten Teil. Das System versagt, ein Mensch sitzt davor. Die Schuld landet bei diesem Menschen.
Moral Crumple Zone in 3 Schritten.

Das Bild kommt vom Auto. Die Knautschzone ist der Teil der Karosserie, der sich bei einem Unfall verformen soll. Sie nimmt die Wucht des Aufpralls auf, damit der Mensch im Wagen sie nicht abbekommt. Elish überträgt das auf automatisierte Systeme und dreht es dabei um. Wenn ein solches System versagt, nimmt ein Mensch die Wucht auf. Gemeint ist die moralische Wucht, also Schuld und Verantwortung. Es trifft den Menschen, der dem System am nächsten war, auch wenn er dessen Verhalten nur begrenzt steuern konnte.

Beim Auto schützt die Knautschzone den Menschen. Die Moral Crumple Zone schützt das Ansehen der Technik, und der Mensch zahlt dafür.

Ist das nur ein anderes Wort für Sündenbock? Elish sagt nein, und ihr Grund leuchtet mir ein. Ein Sündenbock wird gesucht, nachdem etwas passiert ist. Die Moral Crumple Zone ist schon vorher in das System eingebaut. In beiden Fällen arbeitete die Technik nach Elishs Urteil so, wie sie entworfen war. Das Ventil öffnete sich wie vorgesehen. Der Autopilot gab die Steuerung ab, als ihm die Messwerte fehlten. Gilt die Technik damit als fehlerfrei, bleibt als fehlerhaftes Teil nur der Mensch übrig. Über die Luftfahrt schreibt Elish sinngemäß, die Steuerung sei verteilt worden, die Verantwortung aber nicht mitgewandert.

Konzeptgrafik zur Moral Crumple Zone mit 2 Feldern. Links steht „Wer tatsächlich steuert“: ein großer Kreis für das System mit Automatik, Vorgaben und Gestaltung, daneben ein kleiner Kreis für den Menschen. Rechts steht „Wer die Schuld bekommt“: ein großer Kreis für den Menschen, der am nächsten dran saß, daneben ein kleiner Kreis für das System. Die Kreisgrößen zeigen das Prinzip und sind keine Messwerte.
Steuerung und Schuld fallen auseinander. Prinzipskizze nach Elish (2019).

Woher kommt der Begriff?

Elish arbeitete damals am Data & Society Research Institute. Der Aufsatz heißt „Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction“ und erschien 2019 in der Zeitschrift „Engaging Science, Technology, and Society“. Er ist von Fachkollegen begutachtet. Eine frühere Fassung hatte Elish schon 2015 auf der Konferenz WeRobot vorgestellt.

Der Aufsatz beginnt übrigens gar nicht im Kraftwerk. Er beginnt auf einer Straße in Arizona. Am 18. März 2018 erfasste dort ein selbstfahrendes Testfahrzeug von Uber eine Fußgängerin, die ihr Fahrrad über die Fahrbahn schob. Sie starb. Am Steuer saß eine Sicherheitsfahrerin, die das System überwachen und im Notfall eingreifen sollte. Der vorläufige Bericht der amerikanischen Unfallbehörde NTSB beschrieb 2 Monate später Schwächen der Software. Das System hatte die Fußgängerin nicht richtig eingeordnet, und die serienmäßigen Sicherheitsfunktionen des Wagens waren im autonomen Betrieb abgeschaltet. Die Berichterstattung richtete sich nach Elishs Beobachtung trotzdem schnell auf die Fahrerin.

Der Abschlussbericht der NTSB erschien erst nach Elishs Aufsatz und ist deshalb hier gesondert berücksichtigt. Er macht den Fall nicht einfacher. Als wahrscheinliche Ursache nennt die Behörde, dass die Fahrerin die Straße und das System nicht überwacht hat, weil sie von ihrem Mobiltelefon abgelenkt war. Als beitragende Faktoren nennt sie aber auch Uber selbst. Das Unternehmen habe die Fahrer unzureichend beaufsichtigt und keine ausreichenden Mittel dagegen gehabt, dass Menschen an einer Automatik nachlässig werden. Beides steht also im selben Bericht.

Drei Grenzen des Aufsatzes sollte man kennen. Elish misst nichts, sie wertet Fälle und Presseberichte aus. Sie schreibt über die Wahrnehmung von Schuld, vor allem in den USA, und nach eigener Aussage nicht über rechtliche Haftung. Und sie behauptet nicht, dass jedes automatisierte System eine Moral Crumple Zone erzeugt. Ihr Gegenbeispiel ist das Bestrahlungsgerät Therac-25 aus den 1980er Jahren. Dort schrieb die Presse den Fehler dem Computer zu und nicht dem Personal am Gerät.

Was zeigen die Experimente?

Fallstudien kann man immer auch anders erzählen. Lässt sich das Muster messen?

Awad und Kollegen haben es 2020 in „Nature Human Behaviour“ versucht. Sie legten Versuchspersonen beschriebene Unfälle vor, bei denen ein Auto mit 2 Fahrern einen Fußgänger tötet. Jeder der beiden Fahrer konnte ein Mensch oder eine Maschine sein. Machte nur einer von beiden einen Fehler, bekam dieser die Schuld, egal ob Mensch oder Maschine. Machten beide einen Fehler, bekam die Maschine weniger Schuld. Die Autoren folgern daraus, dass die Öffentlichkeit auf Fehler der Technik in solchen Fahrzeugen womöglich zu schwach reagiert.

Noch einen Schritt weiter gehen Arnestad, Meyers, Gray und Bigman 2024 in der Zeitschrift „Cognition“. Sie zeigen zuerst, dass Menschen eine Möglichkeit zum Eingreifen von Hand haben wollen, selbst wenn sie mehr kostet und das System dadurch weniger effizient ist. Dann zeigen sie die Kehrseite. Schon die bloße Existenz dieser Möglichkeit erhöht die Schuld, die dem Menschen bei einem Fehler der KI gegeben wird. Das gilt laut Zusammenfassung der Studie auch dann, wenn weder die Zeit noch die Fähigkeit zum Eingreifen vorhanden war. Als Erklärung nennen die Autoren 2 Dinge. Der Mensch wird stärker als Verursacher gesehen. Und Beobachter malen sich leichter aus, wie es anders hätte laufen können.

Was heißt das? Ein Hebel, ein Lenkrad oder ein Knopf zum Eingreifen verändert, wem andere die Schuld geben. Ob er im Ernstfall überhaupt benutzbar war, ändert an diesem Urteil offenbar wenig. Beide Arbeiten haben allerdings dieselbe Grenze. Die Versuchspersonen beurteilen beschriebene Fälle, vor allem mit selbstfahrenden Autos. Wie Kollegen, Vorgesetzte oder Kunden nach einem echten Fehler urteilen, haben sie nicht gemessen.

Was hat das mit Freigaben und KI-Agenten zu tun?

Ab hier verlasse ich den Boden der Studien. Was folgt, ist ein Analogieschluss von Kraftwerken, Flugzeugen und Autos auf das Büro.

Ich vermute Folgendes. Viele Organisationen bauen ihre Arbeit mit KI-Agenten so auf, dass der Agent ein Ergebnis vorbereitet und ein Mensch es freigibt. Das kann ein Bescheid sein, eine Bestellung oder eine Auswahl von Bewerbungen. Geht etwas schief, ist die freigebende Person der Mensch, der am nächsten dran saß. Ihr Name steht an der Freigabe. Wer den Agenten eingerichtet hat, mit welchen Daten er arbeitet und wie viel Zeit für die Prüfung eingeplant wurde, ist an dieser Stelle selten zu sehen. Ähnlich beschreibt Elish die Lage der Bediener in Three Mile Island. Die Steuerung ist auf viele Stellen verteilt, sichtbar ist am Ende eine Person.

Ein Freigabeknopf verteilt noch keine Verantwortung. Er legt zunächst nur fest, wessen Name an der Freigabe steht.

Dazu kommt ein zweiter Befund aus der Forschung. Menschen prüfen Vorschläge einer KI oft schlechter, als ihre Organisation annimmt. Das beschreibt mein Beitrag zum Automation Bias. Zusammen ergibt sich ein ungutes Bild. Die Person kann den Fehler oft kaum erkennen, und sie bekommt trotzdem die Schuld dafür.

Auch die europäische KI-Verordnung gehört hierher. Art. 14 verlangt für Hochrisiko-Systeme, dass Menschen sie wirksam beaufsichtigen können. Dazu gehört, dass die Aufsichtsperson ein Ergebnis übergehen und das System anhalten kann. Das ist gut begründet. Natürlich bin ich kein Jurist, und was daraus rechtlich folgt, kann ich nicht beurteilen. Als Organisationsforscher fällt mir aber auf, dass genau so eine Eingriffsmöglichkeit in den Experimenten von Arnestad und Kollegen die Schuld beim Menschen erhöht hat. Die Verbindung ziehe ich, die Studie hat die Verordnung nicht untersucht.

Was können Organisationen tun?

Erprobte Rezepte gegen die Moral Crumple Zone habe ich in den Quellen nicht gefunden. Elish selbst regt vor allem an, bei der Zulassung von Technik auch das Zusammenspiel von Mensch und Maschine zu betrachten. Aus ihren Fällen lassen sich aber Prüfpunkte ableiten. Das Folgende ist meine Ableitung und keine getestete Maßnahme.

Elish unterscheidet, was den Menschen in ihren Fällen gefehlt hat. Den Bedienern in Three Mile Island fehlten Information und Befugnis. Die Piloten hatten nach ihrer Darstellung genug Information, waren durch die Bauweise des Systems aber kaum in der Lage, richtig zu handeln. Daraus ergibt sich für jede Freigabe eine einfache Probe. Hat die Person die Information, die Zeit und die Befugnis, um einen Fehler zu erkennen und aufzuhalten? Fehlt eines davon, steht die Kontrolle nur auf dem Papier.

Der zweite Punkt betrifft den Blick nach einem Fehler. Elish weitet beim Reaktorunfall den Ausschnitt. Sie fragt nach denen, die die Anzeigen entworfen haben, nach der Betriebsleitung und nach der Aufsichtsbehörde. Eine Organisation kann das genauso halten und bei der Aufarbeitung eines Fehlers auch fragen, wer den Agenten eingerichtet und wer den Ablauf der Freigabe gestaltet hat.

Und drittens lässt sich vorab festhalten, wer was steuert. Das ist eine Frage der Entscheidungsrechte, und sie gehört geklärt, bevor der Agent arbeitet.

Was ich daraus mitnehme.

Der wichtigste Satz des Aufsatzes steht für mich am Ende. Elish nennt den Begriff dort eine Herausforderung und zugleich eine Chance für die Gestaltung solcher Systeme. So sehe ich das auch. Die Moral Crumple Zone ist kein Naturgesetz. Sie entsteht dort, wo Steuerung verteilt wird und niemand festhält, wie.

Vielleicht nehmen Sie 3 Fragen mit. Wer steht in Ihrer Organisation mit seinem Namen unter Ergebnissen, die ein KI-Agent vorbereitet hat? Hatte diese Person genug Information, Zeit und Befugnis, um einen Fehler aufzuhalten? Und wen fragen Sie, wenn etwas schiefgeht, nur die Person an der Freigabe oder auch die Menschen, die den Ablauf gebaut haben?

Warum Menschen die Vorschläge einer KI so oft durchwinken, beschreibt der Beitrag Automation Bias: Warum auch Fachleute falschen KI-Empfehlungen folgen. Woher die Idee kommt, einen Menschen zur Aufsicht einzusetzen, steht im Grundlagenbeitrag Human in the Loop: Woher der Begriff kommt und was er verlangt. Wenn Sie Freigaben und Entscheidungsrechte für Ihre eigene Organisation durchdenken möchten, ist das KI-Organisationslabor der Ort dafür.

Quellen

Arnestad/Meyers/Gray/Bigman (2024): The existence of manual mode increases human blame for AI mistakes. Cognition 252, 105931. Zusammenfassung im Forschungsportal der Hebrew University: https://cris.huji.ac.il/en/publications/the-existence-of-manual-mode-increases-human-blame-for-ai-mistake-2/

Awad et al. (2020): Drivers are blamed more than their automated cars when both make mistakes. Nature Human Behaviour 4, 134–143. Vorabfassung: https://arxiv.org/abs/1803.07170

Elish, M. C. (2019): Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society 5, 40–60. https://estsjournal.org/index.php/ests/article/view/260

National Transportation Safety Board (2019): Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Tempe, Arizona, March 18, 2018. Bericht HAR-19/03. https://www.ntsb.gov/investigations/Pages/HWY18MH010.aspx

Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 14. https://artificialintelligenceact.eu/article/14/

KI-Organisationslabor

Was das für Ihre Organisation heißt. Im KI-Organisationslabor klären wir es gemeinsam am echten Fall.

Im KI-Organisationslabor bringen wir Agenten in den echten Betrieb und legen fest, wer welche Entscheidung trifft. Vorher rechnen wir Szenarien in Euro durch.

Analysen · Magazin von Prof. Dr. Kai Reinhardt

Jeden Monat eine Einordnung zu KI in Organisationen.

Einmal im Monat nehme ich mir ein Thema vor, das Organisationen gerade beschäftigt. Sie bekommen das Editorial und die neuen Analysen per Mail. Die erste Ausgabe per Mail kommt im Dezember.

  • Ohne Werbung
  • Einmal im Monat
  • Abmeldung mit einem Klick

Aktuell Ausgabe 1 · November 2026 · Wer wirklich im KI-Loop steht. Ausgabe lesen ›

Anmerkungen zum Text
Moral Crumple Zone
Begriff von Madeleine Clare Elish (2019). Die Verantwortung für das Versagen eines automatisierten Systems wird einem Menschen zugeschrieben, der nur begrenzte Kontrolle über das System hatte.
Was der Begriff nicht sagt
Elish untersucht, wie Medien und Berichte Schuld verteilen, vor allem in den USA. Über rechtliche Haftung trifft ihr Aufsatz nach eigener Aussage keine Aussage. Sie hält auch fest, dass nicht jedes automatisierte System eine Moral Crumple Zone erzeugt.
Siehe auch
Warum Menschen KI-Vorschläge schlechter prüfen als gedacht: Automation Bias: Warum auch Fachleute falschen KI-Empfehlungen folgen. Woher die Idee der menschlichen Aufsicht kommt: Human in the Loop: Woher der Begriff kommt und was er verlangt.

Häufige Fragen

Was ist eine Moral Crumple Zone?

Eine Moral Crumple Zone entsteht, wenn die Verantwortung für das Versagen eines automatisierten Systems dem Menschen zugeschrieben wird, der es bedient oder überwacht hat, obwohl er nur begrenzte Kontrolle hatte. Wörtlich ist das eine moralische Knautschzone. Der Mensch fängt die Schuld ab, so wie die Knautschzone beim Auto den Aufprall abfängt. Geschützt wird dabei das Ansehen des technischen Systems.

Woher kommt der Begriff Moral Crumple Zone?

Der Begriff stammt von der Anthropologin Madeleine Clare Elish. Sie hat ihn 2019 im Aufsatz „Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction“ in der Zeitschrift „Engaging Science, Technology, and Society“ (Band 5, S. 40–60) ausgeführt. Eine frühere Fassung hatte sie 2015 auf der Konferenz WeRobot vorgestellt. Ihre Fallstudien sind der Reaktorunfall von Three Mile Island 1979 und der Absturz von Air France 447 im Jahr 2009. Danach wendet sie den Begriff auf selbstfahrende Autos an.

Gibt es Belege für die Moral Crumple Zone?

Elishs Aufsatz ist eine Analyse von Fällen und ihrer Berichterstattung, er misst nichts. Experimente stützen das Muster aber. Awad und Kollegen (2020) fanden, dass der Maschine weniger Schuld gegeben wird, wenn Mensch und Maschine bei geteilter Kontrolle beide einen Fehler machen. Arnestad und Kollegen (2024) zeigten, dass schon die bloße Möglichkeit eines manuellen Eingriffs die Schuld des Menschen bei KI-Fehlern erhöht. Beide Arbeiten nutzen beschriebene Fälle, überwiegend mit selbstfahrenden Autos.

Was bedeutet die Moral Crumple Zone für KI-Agenten in Unternehmen?

Die Übertragung ist ein Analogieschluss, denn untersucht wurden Kraftwerke, Flugzeuge und Autos. Die Bauform ist aber ähnlich. Ein KI-Agent bereitet ein Ergebnis vor und ein Mensch gibt es frei. Geht etwas schief, ist die freigebende Person der Mensch, der am nächsten dran saß. Organisationen können vorab klären, ob diese Person genug Information, Zeit und Befugnis hatte, um den Fehler zu erkennen und aufzuhalten. Eine Aussage über rechtliche Haftung ist das nicht.

Mehr zum Thema.

Dossier Ersetzt KI meine Arbeit? Vom alarmierenden Befund bis zur belastbaren Antwort.

Mehr zu diesem Thema Alle Beiträge