Human in the Loop: Braucht KI menschliche Aufsicht, um verantwortungsvoll zu bleiben?

Im Januar erreichte eine Fernsehserie über den Skandal bei der britischen Post Office Millionen Zuschauer und machte aus einem lange schwelenden Unrecht ein nationales politisches Thema. Zwischen 1999 und 2015 wurden mehr als 900 Postfilialleiter auf Grundlage von Daten aus dem fehlerhaften Buchhaltungssystem Horizon strafrechtlich verfolgt. Gerichte, Ermittler und Manager hielten die Zahlen des Computers für verlässlicher als die Menschen, die vor ihnen standen. Leben wurden zerstört. Horizon war kein KI-System. Aber der Skandal ist die eindringlichste Warnung, die wir haben, vor dem, was passiert, wenn menschliche Aufsicht auf dem Papier existiert und in der Praxis versagt.
Aufsicht als Gestaltungsprinzip
„Human in the Loop“ ist zur Standardantwort auf KI-Risiken geworden. Der AI Act der EU verlangt, dass Hochrisikosysteme für wirksame menschliche Aufsicht ausgelegt sind. KI-Richtlinien von Unternehmen verlangen routinemäßig, dass ein Mensch KI-Ergebnisse prüft, bevor sie Kunden oder Beschäftigte betreffen.
Das Prinzip ist richtig. Das Problem ist, dass ein Mensch in der Schleife nicht automatisch eine Absicherung ist. Forschung zum Automation Bias, die in Luftfahrt und Medizin Jahrzehnte zurückreicht, zeigt, dass Menschen automatisierten Empfehlungen zu sehr vertrauen, besonders wenn das System meist richtig liegt, wenn sie beschäftigt sind und wenn Widerspruch Mühe kostet.
Wenn Aufsicht zum Theater wird
Aufsicht versagt auf vorhersehbare Weise.
Menge. Wer Hunderte KI-Entscheidungen am Tag freigeben soll, kann sie nicht sinnvoll prüfen. Die Freigabe wird zum Klick.
Kompetenz. Die prüfende Person versteht nicht, wie das System funktioniert oder wo es typischerweise versagt.
Befugnis. Die prüfende Person kann das System technisch übersteuern, aber Druck, Ziele oder Kultur halten sie davon ab.
Information. Die prüfende Person sieht die Schlussfolgerung der KI, aber nicht die Belege, die sie zum Hinterfragen bräuchte.
Asymmetrische Verantwortung. Dem System zu folgen, wird nie bestraft. Es zu übersteuern und falschzuliegen, vielleicht schon.
In jedem dieser Fälle kann die Organisation sagen, dass ein Mensch beteiligt war. In keinem davon hat der Mensch echte Aufsicht geleistet. Die Post Office hatte viele Menschen in der Schleife.
Aufsicht wirksam machen
Wirksame Aufsicht ist ein Gestaltungsproblem, keine Richtlinienerklärung.
Aufsicht am Risiko ausrichten. Nicht jedes KI-Ergebnis braucht eine Prüfung. Entscheidungen mit hohen Einsätzen brauchen ernsthafte Prüfung. Solche mit niedrigen brauchen Überwachung.
Prüfenden Zeit und Kontext geben. Wenn die Ökonomie eines Prozesses davon abhängt, dass Prüfende zehn Sekunden pro Fall aufwenden, ist die Aufsicht nicht echt.
Für typische Fehler schulen. Prüfende müssen wissen, wo das System zu Fehlern neigt.
Übersteuerungsquoten messen. Eine Übersteuerungsquote nahe null beweist nicht, dass das System perfekt ist. Sie kann beweisen, dass keine Aufsicht stattfindet.
Widerspruch schützen. Wer das System in gutem Glauben hinterfragt, sollte Unterstützung bekommen, auch wenn sich herausstellt, dass er falschlag.
Während generative KI in Finanzanalyse, Kundenkommunikation und HR-Prozesse einzieht, wird diese Frage in fast jedem Unternehmen operativ. Das Risiko ist nicht, dass Organisationen Menschen aus der Schleife entfernen. Es ist, dass sie sie in einer Form dort lassen, die Beruhigung ohne Kontrolle bietet.
Führungsfrage: Wie stellen wir sicher, dass menschliche Aufsicht echt und wirksam ist und nicht nur ein formaler Freigabeschritt?


