Mój artykuł w FORBES z dnia 25 marca 2020 roku: Mroczna strona AI. Czy sieci neuronowe są zdolne do działań dyskryminacyjnych?
Matematyczne równania kojarzą się nam z nieco abstrakcyjnym chłodem, ale i z porcją rzetelnej, twardej wiedzy. Okazuje się jednak, że za ciągiem liczb i symboli może skrywać się negatywny potencjał. Co powoduje, że niektóre aplikacje służące dobrej sprawie, ujawniają swoją mroczną stronę? Odpowiedzi może być kilka. Jedna z pierwszych, jaka przychodzi nam do głowy, dotyczy natury ludzkiej. Chodzi o znany mechanizm, zgodnie z którym ludzie posługują się w życiu masą stereotypów i uprzedzeń. Mogą one dotyczyć innych jednostek, grup społecznych, czy świata wartości. Wytwarzane przez ludzi schematy poznawcze łączą się doskonale z brakiem wyobraźni i niechęcią do rzetelnych analiz. Powstaje więc wybuchowa mieszanka, które generuje negatywne sytuacje. Ktoś, kto ślepo ufa danym z komputera, nie dostrzega złożoności sytuacji, gorliwie eliminuje subiektywną ocenę zdarzenia. I wtedy zaczyna się „akcja”. Akcja, czyli duży problem dla stron zaangażowanych w zdarzenie.
Algorytmy na służbie w policji
Policja nadaje się idealnie do testowania inteligentnych technologii. O tym, że pożyteczny algorytm może jednak czasem tworzyć problemy, przedstawiciele branży doskonale wiedzą. Ale bądźmy sprawiedliwi. Dzięki inteligentnemu przetwarzaniu danych, policyjne komputery potrafią skutecznie łączyć przestępstwa, dane historyczne i okoliczności zdarzeń w kategorie i zbiory. Bezdyskusyjna jest użyteczność aplikacji, które potrafią odkrywać relacje między miejscami, osobami, profilami psychologicznymi, momentem popełnienia przestępstwa i narzędziami zbrodni. Kryminolodzy i naukowcy zajmujący się przetwarzaniem danych z University of Memphis sięgnęli po software wyprodukowany przez koncern IBM. Oprogramowanie było przeznaczone do analiz o charakterze predykcyjnym. Team zaangażowany w projekt, stworzył mechanizm analityczny uwzględniający takie zmienne jak: temperatura powietrza, mapy otoczenia, skupiska ludzi, rozkład sklepów, restauracji, preferencje mieszkańców i dotychczasowe aktywności o charakterze przestępczym. Algorytmy, które zostały zaangażowane, miały wykorzystywać wymienione zmienne do identyfikowania potencjalnych ognisk zapalnych w mieście. I faktycznie zadziałało. Podczas testów tego systemu okazało się, że faktycznie z pewnym prawdopodobieństwem można przewidywać przyszłość (jakim: tu nie podano szczegółów), ale na tyle wysokim, że patrole policji zostały przekierowane do tych potencjalnie „zagrożonych” miejsc. W innym komentarzu czytamy, że dzięki temu czas reakcji policji liczony od zgłoszenia zdarzenia do pierwszej reakcji skrócono 3 razy. Wyobrażam sobie, że już sama obecność policji w tych miejscach zmniejsza występowanie zdarzeń o charakterze przestępczym. Przykład ten może być wręcz trudno zrozumiały dla laika. Dowodzi on, że nowoczesna technologia staje się prawdziwą innowacyjną „petardą”, która może przynieść doskonałe efekty.
Czasem coś tu jednak nie gra
Wdrażany na terenie Stanów Zjednoczonych program Hunchlab stworzony przez startup Azavea poddaje analizie olbrzymie ilości i rodzaje danych (łącznie z fazami księżyca), by ułatwiać policji analizy dotyczące zdarzeń o charakterze przestępczym. Podobnie jak w poprzednim przypadku, chodzi o stworzenie mapy miejsc, w których prawdopodobieństwo popełnienia przestępstwa rośnie. Program kładzie akcent między innymi na położenie w mieście takich miejsc, jak bary, szkoły i przystanki. Efekty działania programu okazały się pozytywne. Czasem były to analizy oczywiste, ale nierzadko jednak zaskakiwały. Mniejsze nasilenie działań przestępczych w zimne dni można sobie prosto wytłumaczyć. Ale wyjaśnienie, dlaczego w Filadelfii dochodziło do większej kradzieży samochodów zaparkowanych w pobliżu szkół mogło być już trudniejsze. Czy policjant nieuzbrojony w taki software mógłby w ogóle wpaść na pomysł, by szukać sensu w relacji szkoła – kradzież samochodów? Do tej pory przyjrzeliśmy się kilku pozytywnym scenariuszom. Jednak trudno przejść do porządku dziennego nad faktem, że inteligentne maszyny nie dość, że się mylą, to dokonują błędnych interpretacji. Mają często poważne problemy z analizą kontekstów sytuacyjnych. Podobnie jak ludzie.
Wątpliwa pewność software’u
W 2016 toku niezależna organizacja skupiająca dziennikarzy śledczych ProPublica opisała w swoim tekście „Machine Bias”, skłonność amerykańskich sądów do wykorzystywania specjalistycznego software’u firmy Northpointe, odpowiedzialnego za analizy dotyczące przestępczości na terenie Stanów Zjednoczonych. Autorów interesowała między innymi kwestia szans na popełnienie kolejnych przestępstw przez osoby skazane już wcześniej. W tekście opisano, że software wykorzystywany chętnie i masowo przez amerykańskich sędziów, generował analizy, zgodnie z którymi istniało 45 procent szans na to, że wcześniej skazani czarnoskórzy obywatele wrócą do kryminalnej aktywności. W przypadku osób o białym kolorze skóry, prawdopodobieństwo powrotu do działalności przestępczej oceniane było już tylko na 24 procent. Do tych ciekawych wniosków dochodziły algorytmicznie produkowane tezy, że tereny zamieszkane przez czarnoskórych są bardziej narażone na zachowania kryminogenne, w porównaniu do dzielnic kojarzonych z białymi mieszkańcami. Prawdy serwowane przez software zostały zakwestionowane, a algorytmy zakończyły Northpointe swoją analityczną karierę. Wszystko przez oparcie wnioskowania tylko o dane historyczne i brak świadomości lub raczej zaprojektowania algorytmów w taki sposób, żeby uwzględniały ostatnie zmiany demograficzne.
Algorytmy i białe twarze
Ciekawa wydaje się teza Cathy O’Neil, która swoją książkę „Weapon of Math Destruction” wydaną w 2016 roku, poświęciła wpływowi algorytmów na różne obszary naszego życia. Autorka twierdzi, że ludzie mają skłonność do obdarzania matematycznych wzorów zbyt wielkim zaufaniem. A uprzedzenia – jak twierdzi – mogą tworzyć się na różny sposób i na wielu poziomach. Zwróciła też uwagę na to, że negatywne procesy mogą rodzić się wcześnie, jeszcze przed gromadzeniem danych, które potem posłużą algorytmom do analiz. Doświadczyli tego mechanizmu menedżerowie firmy Amazon. Zauważyli oni bowiem, że stosowane przez nich programy wspomagające rekrutacje, regularnie dyskryminowały kobiety. W wynikach obejmujących grupy dobrze rokujących pracowników, kobiet było zawsze o wiele mniej. Dlaczego? Znowu przez dane historyczne, gdzie więcej mężczyzn aplikowało na określone stanowiska. Zaburzało to parytety zatrudnienia kobiet vs mężczyzn i poniekąd preferowało mężczyzn, a finalnie błędnie kreowało politykę zatrudnienia.
Algorytmy nie znają się na kulturowych przemianach
Programy bazowały na pracy algorytmów, które były projektowane w okresie, kiedy istniała duża nierównowaga w zatrudnianiu obu płci. Nadreprezentacja mężczyzn była charakterystyczna dla określonego momentu w historii. Wytrenowane na historycznych danych algorytmy, posługiwały się „przekonaniem”, że świat się nie zmienia. Działały więc w oparciu o złe założenia i uproszczenia (czarny kolor skóry, to większe prawdopodobieństwo przestępstwa, większy profesjonalizm to z kolei domena mężczyzn).
Niepokojące pytania
Nie będzie błędem przeczucie, że mechanizmy analogiczne do opisanych wyżej, mogą działać w wielu obszarach życia zawodowego i prywatnego. W ilu przypadkach, które nie są nam znane, organizowanie danych może opierać się na błędnych założeniach? W ilu sytuacjach algorytmy nie uwzględniają przemian ekonomicznych i kulturowych?
Black Box to termin, którego używa się, by wyrazić ludzką bezradność, wobec tego, co może dziać się w „mózgach” sztucznej inteligencji. Nasza niewiedza i coraz większa samodzielność algorytmów, które jak się okazuje, nie są alfą i omegą, generują niepokojącą mieszankę. Algorytmiczne uprzedzenia nie znikną za dotknięciem czarodziejskiej różdżki. Pytanie kluczowe brzmi: czy istnieje szansa na to, by specjaliści projektujący algorytmy, które często samodzielnie projektują lub trenują kolejne algorytmy, uświadamiali sobie mocniej własną odpowiedzialność i fakt, że uprzedzenia algorytmów bywają prostym przedłużeniem ludzkich postaw i praktyk.
Powiązane artykuły:
– Uczmy się jak maszyny, a nawet bardziej
– Już czas, by pogadać z maszyną
– Czy algorytmy będą popełniać zbrodnie wojenne?
– Maszyno, kiedy nauczysz się ze mną kochać?
– Kiedy przestaniemy być biologicznymi ludźmi?
TomK
Na szczęście są na świecie ludzie mądrzy i wiedzą z jakim wiąże się to ryzykiem. Pisane, że nikt jeszcze tego nie zrobił a są obawy jest tylko stwierdzeniem faktu. Tak dokładnie ludzie się boją, kto miał styczność z AI lub ma wyobraźnie wie jakie to niesie ze sobą ryzyka.
CzarekZ23
Pisze Pan straszne rzeczy. Ale z drugiej strony to mając odpowiednią infrastrukturę oraz zespół ekspertów, którzy potrafi zrealizować wdrożenie AI, mozna z latwoscia napisac teraz soft z elementami ML. Kazdy moze i madrzy i „glupi”
Don Fisher
Sztuczna inteligencja nie jest (jeszcze) tak dobra jak człowiek. W dalszym ciągu to my lepiej odczytujemy emocje
AdaZombie
Technologię rozpoznawania twarzy można z łatwością oszukać. Maszyna automatycznie kojarzy określone miny z konkretnymi emocjami, jednak nie rozróżnia na przykład uśmiechu złośliwego od szczerego.
Andrzej Czeczowski
Zastanawiam się dlaczego wyciągnąłeś akurat Jobsa jako przykład osoby ostrzegającej przed AI, skoro nie żyje on od 7 lat, a dyskusja na temat potencjalnego zagrożenia zaczęła się stosunkowo niedawno. Zresztą, o zdaniu Muska o AI możesz poczytać w jednym! z tysiąca artykułów. Polecam również rzucić okiem na zeszłoroczny spór na linii Musk – Zuckenberg.
Mac McFisher
Ješli postęp naukowy bęezie trwał to tylko kwestia czasu kiedy stworzymy sobie grożną i bezwzględną konkurencję a raczej następcę i zadziałają prawa Darwina.
Adam
Och z pewnością – ale clue jest takie,że taki system sprowadza cię do roli bydła w fermie klatkowej nie mającego prawa do decyzji co zjesz i nie tylko.
Poza tym takie coś jest tak ogromnym polem do drenowania twojego portfela przez nie tylko rząd ale i rozmaitych korporacyjnych łupieżców że głowa mała. Okradziony i nawet nie wie,kiedy go okradli,zajebista przyszłość. Dziękuję postoję, „internet rzeczy” i bezgotówkowość wsadźta sobie tam gdzie słoneczko nie dochodzi – w miękkie przedłużenie kręgosłupa.
Sytuacja w której twoje – ale nie tak do końca (bo przecież closed source) urządzenia dokonują zakupów i zarządzają twoimi pieniędzmi a ty nawet nie możesz sprawdzić jak to robią i ile wydają to PATOLOGIA.
John Accural
Dobry wpis
KrzysiekC
Beda takie jak je zaprogramujemy
JacekPaczka
„Uprzedzenia” nie są złe tylko bywają wynikiem niedostatecznej ilości danych. Rzecz w tym,że zbieranie ich „dostatecznej ilości” może z kolei oznaczać permanentne naruszenie prywatności.
Oczywiscie
Dla przykładu – oczywiście te heurystyki nie oceniały kto jest dzieckiem samotnej matki z kryminalną przeszłością,jakiej muzyki słucha na co dzień itd.Zbieranie i uwzględnianie takich danych było by nawet szkodliwe.
Jeśli heurystyka działa lepiej niż inne to jest lepsza w danych warunkach. Jeżeli działa źle – warto też określić dlaczego. Algorytmy z natury mają być poprawne a nie „politycznie poprawne”.
Adam T
A może zwyczajnie algorytm pokazuje gołą i brutalną prawdę?
Oniwaban
Czy ciągle obciążać konsekwencjami prawnymi twórcę algorytmów użytych w produkcji samochodu? Czy wyjść już z założenia, że samochód jest tworem obdarzonym zarówno swoimi ochronnymi przywilejami, jak i obowiązkiem respektowania praw ustanowionych przez ludzi.
Oskar 111
Beda takie jakie je nauczymy. I koniec. Konsekwencje beda straszne
Avicenna
Fajne. Podstawą wolności jest własność. Nieciekawe czasy nadchodzą.
Adeptus99
Po co mielibyśmy tworzyć sztuczną inteligencję, jak nie po to, by rozwiązała konkretne problemy? W przypadku wąskich zastosowań (konkretnie zdefiniowany problem) mamy dość duże sukcesy. Jesteśmy w stanie stworzyć sztuczną inteligencję, rozwiązującą bardzo konkretną klasę problemów, często lepiej i szybciej od człowieka.
Czesław
Nasz prawdziwa ludzka inteligencja jest wynikiem wielu czynników. Nasze mózgi zbudowane są z milionów jednocześnie niezależnych i zależnych od siebie komórek a każda z tych komórek jest cholernie skomplikowanym tworem na które składają się dziesiątki tysięcy a może i więcej różnych białek i innych cząsteczek pełniących określone funkcje.
Dodatkowo ewolucja życia doprowadziła do takiego jakby „błędnego koła”, w którym analizując wszystkie szlaki/cykle metaboliczne wychodzi na to wszystko wynika ze wszystkiego. Nie ma żadnego pierwotnego szlaku/cyklu, który coś produkuje i te różne produkty w konsekwencji powodują start innych szlaków/cyklów a produkty tych startują kolejne, etc.
To wszystko składa się na naszą inteligencję. Jest całkiem spora możliwość że AI w formie jakiegoś pojedynczego programu/algorytmu nigdy nie powstanie.
Czesław
Duże firmy (takie jak Microsoft, Google czy Facebook) mają swoje centra badań nad sztuczną inteligencją, a w 97 proc. serwerów przetwarzających obciążenia związane z uczeniem maszynowym wykorzystuje procesory Intela.
NorTom2
Jak sprawić aby robotyzacja nie pogłębiła nierówności i polaryzacji świata prowadząc do wzrostu niepokoi społecznych? Miliony ludzi którzy teraz wykują proste prace i są często tańsi wobec maszyn wkrótce mogą stracić swój jedyny atut. Mówi się iż powstanie pierwsza w historii świata klasa „bezużyteczna”. Jak sprawić aby Ci ludzie nie ucierpieli na tym wzroście, nie zostali porzuceni przez społeczeństo?
Piotr91AA
Sztuczna inteligencja zmieni świat. Mamy dwie drogi: albo stać i patrzeć, jak to się stanie, albo sami zaprojektować kierunek tych zmian