NORBERT BIEDRZYCKI

Das Blackbox-Problem: Können wir steuern, was wir nicht erklären können?

Das Blackbox-Problem: Können wir steuern, was wir nicht erklären können?

Im Mai veröffentlichte das US Consumer Financial Protection Bureau (CFPB) ein Rundschreiben mit einer sehr klaren Botschaft an Kreditgeber. Wenn ein Gläubiger einen Antrag ablehnt, muss er dem Antragsteller nach dem Gesetz konkrete Gründe nennen. Laut CFPB entfällt diese Pflicht nicht, weil die Entscheidung von einem komplexen Algorithmus getroffen wurde, den der Gläubiger selbst nicht vollständig erklären kann. Es gibt praktisch keine Ausnahme für die Blackbox.

Dieser Satz fasst eines der zentralen Dilemmata angewandter KI zusammen.

Leistung versus Verständnis

Modernes maschinelles Lernen, besonders Deep Learning, erreicht bemerkenswerte Genauigkeit, indem es Muster in Tausenden oder Millionen Variablen findet. Der Preis dieser Leistung ist Undurchsichtigkeit. Das Modell funktioniert, aber weder seine Entwickler noch seine Nutzer können einfach darlegen, warum es ein bestimmtes Ergebnis geliefert hat.

In manchen Anwendungen spielt das keine Rolle. Niemand braucht eine Erklärung, warum eine Empfehlungsmaschine einen Film vorgeschlagen hat. In anderen spielt es eine große Rolle: Kredit, Versicherung, Personalauswahl, medizinische Diagnose, Strafjustiz, Sozialleistungen. In diesen Bereichen beeinflussen Entscheidungen das Leben von Menschen und unterliegen rechtlichen Standards, die voraussetzen, dass sich Gründe nennen lassen.

Franz Kafka beschrieb eine Welt, in der ein Mann angeklagt und verurteilt wird, ohne je die Anklage zu erfahren. Der Vergleich ist abgenutzt, aber er erklärt, warum Undurchsichtigkeit eine so starke Reaktion auslöst. Von einem Verfahren beurteilt zu werden, das man nicht verstehen kann, wird als Unrecht an sich erlebt, unabhängig davon, ob das Ergebnis richtig ist.

Drei Ebenen der Erklärung

Es hilft zu unterscheiden, wer eine Erklärung braucht und wozu.

Die betroffene Person muss die Hauptgründe einer Entscheidung verstehen und wissen, was sie ändern könnte.

Die Organisation muss verstehen, wie sich das System insgesamt verhält, wo es versagt und ob es abdriftet.

Die Aufsichtsbehörde oder das Gericht muss prüfen können, ob das System dem Gesetz entspricht, was Dokumentation, Tests und Nachweise erfordert.

Das sind unterschiedliche Anforderungen, und sie lassen sich mit unterschiedlichen Werkzeugen erfüllen. Erklärbarkeitstechniken, die die Begründung eines Modells für einzelne Entscheidungen annähern, Dokumentation von Trainingsdaten und Designentscheidungen, Überwachung der Ergebnisse nach Gruppen. Keines davon macht ein Deep-Learning-Modell transparent. Zusammen können sie es steuerbar machen.

Die eigentliche Wahl

Manchmal lautet die ehrliche Antwort, dass ein einfacheres, besser interpretierbares Modell verwendet werden sollte, selbst um den Preis etwas geringerer Genauigkeit. In Bereichen mit hohen Einsätzen kann ein Modell, das zwei Prozent weniger genau, aber erklärbar und vertretbar ist, viel wertvoller sein als eines, das sich nicht verteidigen lässt.

Für Investoren und Aufsichtsräte ist das eine wesentliche Frage. Ein Geschäft, das von einem Modell abhängt, das es nicht erklären kann, trägt regulatorische und rechtliche Risiken, die mit strengeren Regeln wachsen. Das Rundschreiben des CFPB ist ein frühes Signal dafür, wohin die Durchsetzung geht.

Führungsfrage: Ist ein sehr genaues KI-System akzeptabel, wenn weder der Kunde noch das Unternehmen seine Entscheidungen angemessen erklären können?

Weiterlesen

  1. Sicherheit von Frontier-KI: Sollten die leistungsfähigsten Modelle anderen Regeln unterliegen?

    Reihe Ethical AI, geschrieben 2026

  2. Der Kampf ums Urheberrecht: Wem gehören die Inhalte, die künstliche Intelligenz erzeugt?

    Reihe Ethical AI, geschrieben 2026

  3. Der AI Act der EU: Kann Regulierung künstliche Intelligenz vertrauenswürdig machen?

    Reihe Ethical AI, geschrieben 2026