Stronniczość algorytmów: kiedy sztuczna inteligencja powiela ludzkie uprzedzenia

W 2018 roku Reuters poinformował, że Amazon porzucił eksperymentalne narzędzie rekrutacyjne. Wytrenowane na dziesięciu latach CV przesłanych do firmy, w większości przez mężczyzn, nauczyło się obniżać ocenę aplikacji zawierających słowo „women’s”, jak w „kapitan kobiecego klubu szachowego”. Inżynierowie Amazona próbowali to skorygować i w końcu uznali, że nie mogą zagwarantować, iż narzędzie nie znajdzie innych sposobów dyskryminacji.
W zeszłym roku badanie opublikowane w „Science” przez Ziada Obermeyera i współpracowników przeanalizowało algorytm szeroko używany przez amerykańskie szpitale do decydowania, którzy pacjenci potrzebują dodatkowej opieki. Jako przybliżenia potrzeb zdrowotnych używał wcześniejszych wydatków na leczenie. Ponieważ historycznie na czarnoskórych pacjentów z tymi samymi schorzeniami wydawano mniej, algorytm systematycznie zaniżał to, jak bardzo są chorzy.
Żaden z tych systemów nie został zaprojektowany, by dyskryminować. Oba dyskryminowały.
Mit neutralnej maszyny
Utrzymuje się założenie, że zautomatyzowane decyzje są bardziej obiektywne niż ludzkie. Człowiek może mieć uprzedzenia. Obliczenie nie.
To założenie jest błędne z prostego powodu. Uczenie maszynowe nie uczy się świata. Uczy się danych o świecie. Jeśli te dane odzwierciedlają dawną dyskryminację, nierówny dostęp czy niepełną reprezentację, model nauczy się tych wzorców tak, jakby były prawami natury. A ponieważ stosuje je konsekwentnie i na dużą skalę, może wzmacniać to, co pojedynczy stronniczy człowiek robiłby tylko od czasu do czasu.
Stronniczość wchodzi w kilku miejscach.
Dane. Kto jest reprezentowany, kogo brakuje i jakie historyczne decyzje są w nich zapisane.
Wskaźnik zastępczy. Co model faktycznie ma przewidywać. Wydatki na leczenie to nie zdrowie. Dawne zatrudnienia to nie przyszłe wyniki.
Wdrożenie. Gdzie i wobec kogo system jest używany, co może się bardzo różnić od tego, na czym go trenowano.
Dokładność nie wystarczy
Dla firm zmienia to definicję dobrego modelu. System może być średnio bardzo dokładny, a jednocześnie systematycznie mylić się wobec konkretnej grupy. Średnia dokładność to właśnie ta miara, która ukrywa problem.
Organizacje, które radzą sobie z tym dobrze, robią kilka mało efektownych rzeczy. Badają dane treningowe, zanim cokolwiek zbudują. Testują wyniki w podziale na grupy, a nie tylko łącznie. Monitorują decyzje po wdrożeniu, bo dane i populacje się zmieniają. I wyznaczają kogoś z uprawnieniami, by zatrzymać model, gdy wyniki wyglądają źle.
Nic z tego nie jest technicznie trudne. Trudne jest to, że spowalnia wdrożenie i wymaga, by odpowiedzialność za wyniki wzięli właściciele biznesowi, a nie tylko data scientiści.
Kwestia odpowiedzialności
Trudniejsze pytanie jest prawne i organizacyjne. Twórca zbudował model. Firma go wdrożyła. Dane mogła dostarczyć strona trzecia. Kiedy wynik jest dyskryminujący, każdy może wiarygodnie wskazać na pozostałych. Ta niejasność jest wygodna dla wszystkich poza osobą, której dotyczy, i nie przetrwa pierwszego poważnego testu regulacyjnego czy prawnego.
Pytanie o przywództwo: Jeśli algorytm podejmuje dyskryminującą decyzję na podstawie danych historycznych, kto za nią odpowiada: twórca, firma, która go wdrożyła, czy organizacja, która dostarczyła dane?


