Der tragische Fall, der das Dilemma unserer Zeit sinnbildlich verkörpert, ereignete sich im März 2018 in Tempe, Arizona. Dort testete Uber ein autonom fahrendes Fahrzeug auf öffentlichen Straßen.
An Bord des Volvo saß eine sogenannte Sicherheitsfahrerin. Ihre Aufgabe: die letzte Verteidigungslinie bilden, im Notfall das Steuer übernehmen. Doch anstatt wachsam die Straße zu überwachen, blickte sie auf ihr Smartphone – laut späteren Ermittlungen streamte sie zu diesem Zeitpunkt die TV-Serie „The Voice“.
Das Fahrzeug erfasste die 49-jährige Elaine Herzberg, die ihr Fahrrad über die Fahrbahn schob. Sie starb noch am Unfallort. Die nachfolgenden Untersuchungen der US-Verkehrssicherheitsbehörde (NTSB) legten die Schichten des Versagens offen:
Das technische Versagen: Die KI-Software erkannte Herzberg zwar rund sechs Sekunden vor dem Aufprall als Hindernis, klassifizierte sie aber fehlerhaft und schwankte in der Entscheidung, wie zu reagieren sei. Das System war darauf programmiert, keine plötzlichen Bremsmanöver einzuleiten, um „Ghost-Braking“ zu vermeiden – eine bewusste Designentscheidung, die sich als fatal erwies.
Das menschliche Versagen: Die Aufsichtsperson war abgelenkt und unaufmerksam. Der entscheidende Moment, in dem der Mensch das technische Versagen hätte korrigieren müssen, wurde durch den Automation Bias und schlichte Ablenkung verpasst.
Dieser Unfall zeigte auf brutale Weise, dass Human in the Loop keine Garantie ist. Wenn der Mensch im Kontrollkreis überfordert, ungeschult oder – wie in diesem Fall – abgelenkt ist, bricht die gesamte ethische und funktionale Rückversicherung des Systems zusammen. Die Notwendigkeit menschlichen Urteils ist nicht nur eine Frage der Ethik, sondern der funktionalen Redundanz.
Mit dem EU AI Act schreibt Europa erstmals verbindlich vor, dass Hochrisiko-KI-Systeme „wirksam von natürlichen Personen überwacht“ werden müssen. Der Akt fordert, dass Menschen die Systeme verstehen, kontrollieren und notfalls abschalten können. Er verpflichtet Betreiber, qualifizierte Aufsichtspersonen zu benennen – ausgestattet mit klarer Befugnis, Schulung und Unterstützung.
Doch was nach technischer Pflicht klingt, ist in Wahrheit ein organisatorischer Kulturwandel. Menschliche Aufsicht ist kein Knopfdruck. Sie verlangt Kompetenzen, Schnittstellen, Governance und vor allem bewusste Aufmerksamkeit. Wer KI in produktiven Einsatz bringt, braucht Menschen, die ihre Grenzen verstehen – und Systeme, die Eingriffe zulassen, statt sie zu erschweren.
Die Forschung warnt seit Jahren: Die Aufsicht kann selbst zur Schwachstelle werden. Menschen neigen dazu, der Technik zu viel Vertrauen zu schenken- Je zuverlässiger ein System im Alltag arbeitet, desto eher verlässt man sich darauf – und desto träger wird das Eingreifen im Ausnahmefall. Das Uber-Drama ist ein extremes Beispiel, aber auch in der Fertigung oder der Medizin entstehen täglich unbemerkte Momente, in denen niemand wirklich hinsieht.
Darüber hinaus besteht die Gefahr, dass Organisationen KI-Systeme dazu nutzen, unangenehme oder ethisch heikle Entscheidungen zu „entmenschlichen“ und die Verantwortung faktisch an den Algorithmus zu delegieren. Dadurch wird der Mensch im Kontrollkreis lediglich zum Abstempler und nicht zum Verantwortungsträger in der ethischen Kette.
Damit Aufsicht kein Feigenblatt bleibt, sind fünf Faktoren entscheidend. Sie alle müssen auf die Erfahrung des Menschen abgestimmt sein:
Erklärbare Systeme: Menschen müssen verstehen, warum ein Modell zu einem Ergebnis kommt. Visualisierte Unsicherheiten und Confidence Scores sind Pflicht, nicht Kür.
Feedback-Schleifen: Jeder menschliche Eingriff muss als Trainingssignal zurückfließen. So lernt nicht nur die Maschine, sondern auch das Team.
Domänenwissen: Aufsichtspersonen müssen das Fachgebiet verstehen. Nur wer den Kontext kennt, erkennt Fehler.
Interventionsrechte & Ergonomie:Aufsicht erfordert nicht nur die formale Befugnis zum Stoppen und Korrigieren, sondern auch eine ergonomisch gestaltete Schnittstelle, die kognitive Überlastung und Ablenkung (Fatigue) verhindert.
Organisatorische Verankerung & Psychologische Sicherheit: Human Oversight ist eine Führungsaufgabe. Es braucht eine Kultur, die Fehler als Lernchancen ansieht, damit Aufsichtspersonen proaktiv und ohne Angst vor Bestrafung eingreifen.
Der Mensch im Kontrollkreis ist demnach kein allgemeiner Posten, sondern eine domänenspezifische Rolle. Die notwendige Tiefe der Aufsicht unterscheidet sich fundamental, je nachdem, ob es um die Diagnose einer Krankheit, die Freigabe eines Kredits oder die Qualitätskontrolle eines Bauteils geht.
Daher muss das Prinzip des Human in the Loopfür jede Anwendung neu gedacht und maßgeschneidert werden. Ein Blick auf diverse Branchen verdeutlicht, wie diese organisatorischen und technischen Prinzipien bereits heute umgesetzt werden – und wo die Risiken lauern:
In der Diagnostik ergänzen KI-Systeme Radiologen und Pathologen – sie ersetzen sie nicht. Studien zeigen: Kombinationen aus Mensch und KI erreichen bis zu 99 % Genauigkeit, wo KI allein bei 94 % bleibt. Die Verantwortung bleibt beim Arzt, der den Kontext kennt. Human in the Loop ist hier gelebter Alltag – eine Partnerschaft aus Präzision und Erfahrung.
Bei Kreditvergabe und Betrugserkennung sind Algorithmen schnell, aber nicht unfehlbar. Einige europäische Banken implementieren „dual approval loops“: Die KI gibt eine Empfehlung, ein Analyst prüft und bestätigt. Doch auch hier droht Automationsbias: Wenn der Mensch nur noch abnickt, sinkt die Qualität. Erfolgreiche Institute koppeln Modelle mit Explainability-Dashboards, um Entscheidungen transparent zu machen.
In der Qualitätskontrolle prüfen neuronale Netze Bauteile auf Fehler. Menschen entscheiden in Grenzfällen, ob Abweichungen tolerabel sind. Erfolgreiche Betriebe protokollieren diese Eingriffe systematisch – so lernen Maschine und Mitarbeiter gemeinsam. Wenn Aufsicht fehlt, wie bei einem bekannten Fall in der Autozulieferung, stieg die Fehlerrate um 12 %, weil niemand mehr die Edge Cases prüfte.
In Film, Design und Werbung entstehen neue Formen des „kollaborativen Arbeitens“ mit KI. Menschen kuratieren, KI generiert. Doch schlechte Praxis zeigt: Wenn Aufsicht nur formal existiert, kippt Stil in Beliebigkeit. Best-Practice-Agenturen etablieren daher Rollen wie AI Art Director oder Prompt Lead – Menschen, die nicht korrigieren, sondern steuern.
Doch ganz gleich in welcher Branche und in welchem Anwendungsgebiet: Am Ende entscheidet nicht der Algorithmus, sondern der Mensch, der ihn beaufsichtigt. Die EU hat das verstanden und schreibt mit dem AI Act erstmals ein Regelwerk vor, das Verantwortung als Designprinzip verankert.
Doch Vorschriften allein genügen nicht. Unternehmen müssen die Aufsicht neu denken: weniger als Kontrollakt, mehr als Kompetenzzentrum. Human in the Loop ist nicht nur Sicherheit – es ist Qualitätssicherung, Markenpflege und Vertrauensaufbau.
Die Maschinen werden schneller, präziser, unermüdlicher. Aber sie bleiben blind für Bedeutung. Der Mensch ist das Auge im System – und ohne ihn sieht selbst die klügste KI nicht, was sie tut.
Sebastian Büttner ist Co-Gründer von Quantum Beyond, einem europäischen Beschleunigungsprogramm für die Digitalisierung von Unternehmen mit Fokus auf AI-driven Organization Design und intelligenter Mensch-Maschine-Kollaboration.
