Algorithmische Verzerrung: wenn künstliche Intelligenz menschliche Vorurteile reproduziert

2018 berichtete Reuters, dass Amazon ein experimentelles Rekrutierungswerkzeug aufgegeben hatte. Trainiert auf zehn Jahren Lebensläufen, die beim Unternehmen eingegangen waren, die meisten davon von Männern, hatte es gelernt, Bewerbungen abzuwerten, die das Wort „women’s“ enthielten, wie in „Kapitänin des Frauenschachclubs“. Amazons Ingenieure versuchten, es zu korrigieren, und kamen schließlich zu dem Schluss, dass sie nicht garantieren konnten, dass es nicht andere Wege zur Diskriminierung finden würde.
Im vergangenen Jahr untersuchte eine in „Science“ veröffentlichte Studie von Ziad Obermeyer und Kollegen einen Algorithmus, den US-Krankenhäuser verbreitet nutzen, um zu entscheiden, welche Patienten zusätzliche Betreuung brauchen. Er verwendete frühere Gesundheitsausgaben als Ersatzgröße für den Gesundheitsbedarf. Weil für schwarze Patientinnen und Patienten mit denselben Erkrankungen historisch weniger Geld ausgegeben worden war, unterschätzte der Algorithmus systematisch, wie krank sie waren.
Keines der beiden Systeme war darauf ausgelegt zu diskriminieren. Beide taten es.
Der Mythos der neutralen Maschine
Es hält sich die Annahme, automatisierte Entscheidungen seien objektiver als menschliche. Ein Mensch kann Vorurteile haben. Eine Berechnung nicht.
Diese Annahme ist aus einem einfachen Grund falsch. Maschinelles Lernen lernt nicht die Welt. Es lernt die Daten über die Welt. Wenn diese Daten frühere Diskriminierung, ungleichen Zugang oder unvollständige Repräsentation widerspiegeln, lernt das Modell diese Muster, als wären sie Naturgesetze. Und weil es sie konsequent und in großem Maßstab anwendet, kann es verstärken, was ein einzelner voreingenommener Mensch nur gelegentlich täte.
Verzerrung gelangt an mehreren Stellen hinein.
Die Daten. Wer repräsentiert ist, wer fehlt und welche historischen Entscheidungen darin eingebettet sind.
Die Ersatzgröße. Was das Modell tatsächlich vorhersagen soll. Gesundheitsausgaben sind nicht Gesundheit. Frühere Einstellungen sind nicht künftige Leistung.
Der Einsatz. Wo und bei wem das System verwendet wird, was sich sehr davon unterscheiden kann, worauf es trainiert wurde.
Genauigkeit reicht nicht
Für Unternehmen verändert das die Definition eines guten Modells. Ein System kann im Durchschnitt sehr genau sein und für eine bestimmte Gruppe dennoch systematisch falschliegen. Durchschnittliche Genauigkeit ist genau die Kennzahl, die das Problem verbirgt.
Organisationen, die damit gut umgehen, tun ein paar unspektakuläre Dinge. Sie prüfen die Trainingsdaten, bevor sie etwas bauen. Sie testen die Ergebnisse nach Gruppen, nicht nur insgesamt. Sie überwachen Entscheidungen nach dem Einsatz, weil sich Daten und Populationen verschieben. Und sie bestimmen jemanden mit der Befugnis, ein Modell zu stoppen, wenn die Ergebnisse falsch aussehen.
Nichts davon ist technisch schwierig. Schwierig ist, dass es den Einsatz verlangsamt und verlangt, dass Verantwortliche im Geschäft, nicht nur Data Scientists, Verantwortung für die Ergebnisse übernehmen.
Eine Frage der Verantwortung
Die schwierigere Frage ist rechtlich und organisatorisch. Der Entwickler hat das Modell gebaut. Das Unternehmen hat es eingesetzt. Ein Dritter hat vielleicht die Daten geliefert. Wenn das Ergebnis diskriminierend ist, kann jeder glaubhaft auf die anderen zeigen. Diese Unklarheit ist für alle bequem außer für die betroffene Person, und sie wird den ersten ernsthaften regulatorischen oder rechtlichen Test nicht überstehen.
Führungsfrage: Wenn ein Algorithmus auf Basis historischer Daten eine diskriminierende Entscheidung trifft, wer ist verantwortlich: der Entwickler, das einsetzende Unternehmen oder die Organisation, die die Daten geliefert hat?


