Algorytmy zrodzone z naszych uprzedzeń

Czy algorytmy są zdolne do działań dyskryminacyjnych? Niestety tak. Pytanie jednak okazuje się skomplikowane o tyle, że twórcom algorytmów trudno przecież zarzucić złe intencje. Jak to więc możliwe, że matematyczny wzór potrafi wygenerować sytuacje, w których jednostki lub grupy społeczne są pokrzywdzone?

Podziel się

facebook twitter linkedin email
Algorytm Norbert Biedrzycki blog

Matematyczne równania kojarzą się nam z nieco abstrakcyjnym chłodem, ale i z porcją rzetelnej, twardej wiedzy. Okazuje się jednak, że za ciągiem liczb i symboli może skrywać się negatywny potencjał. Co powoduje, że niektóre aplikacje lub wbudowane w nie algorytmy służące dobrej sprawie, ujawniają swoją mroczną stronę? Odpowiedzi może być kilka. Jedna z pierwszych, jaka przychodzi nam do głowy, dotyczy natury ludzkiej. Chodzi o znany mechanizm, zgodnie z którym ludzie posługują się w życiu masą stereotypów i uprzedzeń. Mogą one dotyczyć innych jednostek, grup społecznych, czy świata wartości. Wytwarzane przez ludzi schematy poznawcze łączą się doskonale z brakiem wyobraźni i niechęcią do rzetelnych analiz. Powstaje więc wybuchowa mieszanka, które generuje negatywne sytuacje. Ktoś, kto ślepo ufa danym z komputera, nie dostrzega złożoności sytuacji, gorliwie eliminuje subiektywną ocenę zdarzenia. I wtedy zaczyna się “akcja”. Akcja, czyli duży problem dla stron zaangażowanych w zdarzenie.

Algorytmy na służbie w policji

Policja nadaje się idealnie do testowania inteligentnych technologii. O tym, że pożyteczny algorytm może jednak czasem tworzyć problemy, przedstawiciele branży doskonale wiedzą. Ale bądźmy sprawiedliwi. Dzięki inteligentnemu przetwarzaniu danych, policyjne komputery potrafią skutecznie łączyć przestępstwa, dane historyczne i okoliczności zdarzeń w kategorie i zbiory. Bezdyskusyjna jest użyteczność aplikacji, które potrafią odkrywać relacje między miejscami, osobami, profilami psychologicznymi, momentem popełnienia przestępstwa i narzędziami zbrodni. Kryminolodzy i naukowcy zajmujący się przetwarzaniem danych z University of Memphis sięgnęli po software wyprodukowany przez koncern IBM. Oprogramowanie było przeznaczone do analiz o charakterze predykcyjnym. Team zaangażowany w projekt, stworzył mechanizm analityczny uwzględniający takie zmienne jak: temperatura powietrza, mapy otoczenia, skupiska ludzi, rozkład sklepów, restauracji, preferencje mieszkańców i dotychczasowe aktywności o charakterze przestępczym. Algorytmy, które zostały zaangażowane, miały wykorzystywać wymienione zmienne do identyfikowania potencjalnych ognisk zapalnych w mieście. I faktycznie zadziałało. Podczas testów tego systemu okazało się, że faktycznie z pewnym prawdopodobieństwem można przewidywać przyszłość (jakim: tu nie podano szczegółów), ale na tyle wysokim, że patrole policji zostały przekierowane do tych potencjalnie „zagrożonych” miejsc. W innym komentarzu czytamy, że dzięki temu czas reakcji policji liczony od zgłoszenia zdarzenia do pierwszej reakcji skrócono 3 razy. Wyobrażam sobie, że już sama obecność policji w tych miejscach zmniejsza występowanie zdarzeń o charakterze przestępczym. Przykład ten może być wręcz trudno zrozumiały dla laika. Dowodzi on, że nowoczesna technologia staje się prawdziwą innowacyjną “petardą”, która może przynieść doskonałe efekty.

Czasem coś tu jednak nie gra

Wdrażany na terenie Stanów Zjednoczonych program Hunchlab stworzony przez startup Azavea poddaje analizie olbrzymie ilości i rodzaje danych (łącznie z fazami księżyca), by ułatwiać policji analizy dotyczące zdarzeń o charakterze przestępczym. Podobnie jak w poprzednim przypadku, chodzi o stworzenie mapy miejsc, w których prawdopodobieństwo popełnienia przestępstwa rośnie. Program kładzie akcent między innymi na położenie w mieście takich miejsc, jak bary, szkoły i przystanki. Efekty działania programu okazały się pozytywne. Czasem były to analizy oczywiste, ale nierzadko jednak zaskakiwały. Mniejsze nasilenie działań przestępczych w zimne dni można sobie prosto wytłumaczyć. Ale wyjaśnienie, dlaczego w Filadelfii dochodziło do większej kradzieży samochodów zaparkowanych w pobliżu szkół mogło być już trudniejsze. Czy policjant nieuzbrojony w taki software mógłby w ogóle wpaść na pomysł, by szukać sensu w relacji szkoła – kradzież samochodów?  Do tej pory przyjrzeliśmy się kilku pozytywnym scenariuszom. Jednak trudno przejść do porządku dziennego nad faktem, że inteligentne maszyny nie dość, że się mylą, to dokonują błędnych interpretacji. Mają często poważne problemy z analizą kontekstów sytuacyjnych. Podobnie jak ludzie.

Wątpliwa pewność software’u

W 2016 toku niezależna organizacja skupiająca dziennikarzy śledczych ProPublica opisała w swoim tekście “Machine Bias”, skłonność amerykańskich sądów do wykorzystywania specjalistycznego software’u firmy Northpointe, odpowiedzialnego za analizy dotyczące przestępczości na terenie Stanów Zjednoczonych. Autorów interesowała między innymi kwestia szans na popełnienie kolejnych przestępstw przez osoby skazane już wcześniej. W tekście opisano, że software wykorzystywany chętnie i masowo przez amerykańskich sędziów, generował analizy, zgodnie z którymi istniało 45 procent szans na to, że wcześniej skazani czarnoskórzy obywatele wrócą do kryminalnej aktywności. W przypadku osób o białym kolorze skóry, prawdopodobieństwo powrotu do działalności przestępczej oceniane było już tylko na 24 procent. Do tych ciekawych wniosków dochodziły algorytmicznie produkowane tezy, że tereny zamieszkane przez czarnoskórych są bardziej narażone na zachowania kryminogenne, w porównaniu do dzielnic kojarzonych z białymi mieszkańcami. Prawdy serwowane przez software zostały zakwestionowane, a algorytmy zakończyły Northpointe swoją analityczną karierę. Wszystko przez oparcie wnioskowania tylko o dane historyczne i brak świadomości lub raczej zaprojektowania algorytmów w taki sposób, żeby uwzględniały ostatnie zmiany demograficzne.

Algorytmy i białe twarze

Ciekawa wydaje się teza Cathy O’Neil, która swoją książkę “Weapon of Math Destruction” wydaną w 2016 roku, poświęciła wpływowi algorytmów na różne obszary naszego życia. Autorka twierdzi, że ludzie mają skłonność do obdarzania matematycznych wzorów zbyt wielkim zaufaniem. A uprzedzenia – jak twierdzi – mogą tworzyć się na różny sposób i na wielu poziomach. Zwróciła też uwagę na to, że negatywne procesy mogą rodzić się wcześnie, jeszcze przed gromadzeniem danych, które potem posłużą algorytmom do analiz. Doświadczyli tego mechanizmu menedżerowie firmy Amazon. Zauważyli oni bowiem, że stosowane przez nich programy wspomagające rekrutacje, regularnie dyskryminowały kobiety. W wynikach obejmujących grupy dobrze rokujących pracowników, kobiet było zawsze o wiele mniej. Dlaczego? Znowu przez dane historyczne, gdzie więcej mężczyzn aplikowało na określone stanowiska. Zaburzało to parytety zatrudnienia kobiet vs mężczyzn i poniekąd preferowało mężczyzn, a finalnie błędnie kreowało politykę zatrudnienia. 

Algorytmy nie znają się na kulturowych przemianach

Programy bazowały na pracy algorytmów, które były projektowane w okresie, kiedy istniała duża nierównowaga w zatrudnianiu obu płci. Nadreprezentacja mężczyzn była charakterystyczna dla określonego momentu w historii. Wytrenowane na historycznych danych algorytmy, posługiwały się “przekonaniem”, że świat się nie zmienia. Działały więc w oparciu o złe założenia i uproszczenia (czarny kolor skóry, to większe prawdopodobieństwo przestępstwa, większy profesjonalizm to z kolei domena mężczyzn).

Niepokojące pytania

Nie będzie błędem przeczucie, że mechanizmy analogiczne do opisanych wyżej, mogą działać w wielu obszarach życia zawodowego i prywatnego. W ilu przypadkach, które nie są nam znane, organizowanie danych może opierać się na błędnych założeniach? W ilu sytuacjach algorytmy nie uwzględniają przemian ekonomicznych i kulturowych?

Black Box to termin, którego używa się, by wyrazić ludzką bezradność, wobec tego, co może dziać się w “mózgach” sztucznej inteligencji. Nasza niewiedza i coraz większa samodzielność algorytmów, które jak się okazuje, nie są alfą i omegą, generują niepokojącą mieszankę. Algorytmiczne uprzedzenia nie znikną za dotknięciem czarodziejskiej różdżki. Pytanie kluczowe brzmi: czy istnieje szansa na to, by specjaliści projektujący algorytmy, które często samodzielnie projektują lub trenują kolejne algorytmy, uświadamiali sobie mocniej własną odpowiedzialność i fakt, że uprzedzenia algorytmów bywają prostym przedłużeniem ludzkich postaw i praktyk.

.    .   .

Cytowane prace:

IBM, Memphis Police Department, IBM SPSS: Memphis Police Department, A detailed ROI case study, Link, 2015. 

The Verge, by Maurice Chammah, with additional reporting by Mark Hansen,  POLICING THE FUTURE. In the aftermath of Ferguson, St. Louis cops embrace crime-predicting software, Link, 2018. 

ProPublica, Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks, by Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, ProPublica, Link, 2018. 

.    .   .

Powiązane artykuły:

– Uczmy się jak maszyny, a nawet bardziej

– Już czas, by pogadać z maszyną

– Czy algorytmy będą popełniać zbrodnie wojenne?

– Maszyno, kiedy nauczysz się ze mną kochać?

– Kiedy przestaniemy być biologicznymi ludźmi?

– Sztuczna inteligencja to nowa elektryczność

– W jaki sposób maszyny rozumują

Skomentuj

2 comments