Matematyczne równania kojarzą się nam z nieco abstrakcyjnym chłodem, ale i z porcją rzetelnej, twardej wiedzy. Okazuje się jednak, że za ciągiem liczb i symboli może skrywać się negatywny potencjał. Co powoduje, że niektóre aplikacje lub wbudowane w nie algorytmy służące dobrej sprawie, ujawniają swoją mroczną stronę? Odpowiedzi może być kilka. Jedna z pierwszych, jaka przychodzi nam do głowy, dotyczy natury ludzkiej. Chodzi o znany mechanizm, zgodnie z którym ludzie posługują się w życiu masą stereotypów i uprzedzeń. Mogą one dotyczyć innych jednostek, grup społecznych, czy świata wartości. Wytwarzane przez ludzi schematy poznawcze łączą się doskonale z brakiem wyobraźni i niechęcią do rzetelnych analiz. Powstaje więc wybuchowa mieszanka, które generuje negatywne sytuacje. Ktoś, kto ślepo ufa danym z komputera, nie dostrzega złożoności sytuacji, gorliwie eliminuje subiektywną ocenę zdarzenia. I wtedy zaczyna się „akcja”. Akcja, czyli duży problem dla stron zaangażowanych w zdarzenie.
Algorytmy na służbie w policji
Policja nadaje się idealnie do testowania inteligentnych technologii. O tym, że pożyteczny algorytm może jednak czasem tworzyć problemy, przedstawiciele branży doskonale wiedzą. Ale bądźmy sprawiedliwi. Dzięki inteligentnemu przetwarzaniu danych, policyjne komputery potrafią skutecznie łączyć przestępstwa, dane historyczne i okoliczności zdarzeń w kategorie i zbiory. Bezdyskusyjna jest użyteczność aplikacji, które potrafią odkrywać relacje między miejscami, osobami, profilami psychologicznymi, momentem popełnienia przestępstwa i narzędziami zbrodni. Kryminolodzy i naukowcy zajmujący się przetwarzaniem danych z University of Memphis sięgnęli po software wyprodukowany przez koncern IBM. Oprogramowanie było przeznaczone do analiz o charakterze predykcyjnym. Team zaangażowany w projekt, stworzył mechanizm analityczny uwzględniający takie zmienne jak: temperatura powietrza, mapy otoczenia, skupiska ludzi, rozkład sklepów, restauracji, preferencje mieszkańców i dotychczasowe aktywności o charakterze przestępczym. Algorytmy, które zostały zaangażowane, miały wykorzystywać wymienione zmienne do identyfikowania potencjalnych ognisk zapalnych w mieście. I faktycznie zadziałało. Podczas testów tego systemu okazało się, że faktycznie z pewnym prawdopodobieństwem można przewidywać przyszłość (jakim: tu nie podano szczegółów), ale na tyle wysokim, że patrole policji zostały przekierowane do tych potencjalnie „zagrożonych” miejsc. W innym komentarzu czytamy, że dzięki temu czas reakcji policji liczony od zgłoszenia zdarzenia do pierwszej reakcji skrócono 3 razy. Wyobrażam sobie, że już sama obecność policji w tych miejscach zmniejsza występowanie zdarzeń o charakterze przestępczym. Przykład ten może być wręcz trudno zrozumiały dla laika. Dowodzi on, że nowoczesna technologia staje się prawdziwą innowacyjną „petardą”, która może przynieść doskonałe efekty.
Czasem coś tu jednak nie gra
Wdrażany na terenie Stanów Zjednoczonych program Hunchlab stworzony przez startup Azavea poddaje analizie olbrzymie ilości i rodzaje danych (łącznie z fazami księżyca), by ułatwiać policji analizy dotyczące zdarzeń o charakterze przestępczym. Podobnie jak w poprzednim przypadku, chodzi o stworzenie mapy miejsc, w których prawdopodobieństwo popełnienia przestępstwa rośnie. Program kładzie akcent między innymi na położenie w mieście takich miejsc, jak bary, szkoły i przystanki. Efekty działania programu okazały się pozytywne. Czasem były to analizy oczywiste, ale nierzadko jednak zaskakiwały. Mniejsze nasilenie działań przestępczych w zimne dni można sobie prosto wytłumaczyć. Ale wyjaśnienie, dlaczego w Filadelfii dochodziło do większej kradzieży samochodów zaparkowanych w pobliżu szkół mogło być już trudniejsze. Czy policjant nieuzbrojony w taki software mógłby w ogóle wpaść na pomysł, by szukać sensu w relacji szkoła – kradzież samochodów? Do tej pory przyjrzeliśmy się kilku pozytywnym scenariuszom. Jednak trudno przejść do porządku dziennego nad faktem, że inteligentne maszyny nie dość, że się mylą, to dokonują błędnych interpretacji. Mają często poważne problemy z analizą kontekstów sytuacyjnych. Podobnie jak ludzie.
Wątpliwa pewność software’u
W 2016 toku niezależna organizacja skupiająca dziennikarzy śledczych ProPublica opisała w swoim tekście „Machine Bias”, skłonność amerykańskich sądów do wykorzystywania specjalistycznego software’u firmy Northpointe, odpowiedzialnego za analizy dotyczące przestępczości na terenie Stanów Zjednoczonych. Autorów interesowała między innymi kwestia szans na popełnienie kolejnych przestępstw przez osoby skazane już wcześniej. W tekście opisano, że software wykorzystywany chętnie i masowo przez amerykańskich sędziów, generował analizy, zgodnie z którymi istniało 45 procent szans na to, że wcześniej skazani czarnoskórzy obywatele wrócą do kryminalnej aktywności. W przypadku osób o białym kolorze skóry, prawdopodobieństwo powrotu do działalności przestępczej oceniane było już tylko na 24 procent. Do tych ciekawych wniosków dochodziły algorytmicznie produkowane tezy, że tereny zamieszkane przez czarnoskórych są bardziej narażone na zachowania kryminogenne, w porównaniu do dzielnic kojarzonych z białymi mieszkańcami. Prawdy serwowane przez software zostały zakwestionowane, a algorytmy zakończyły Northpointe swoją analityczną karierę. Wszystko przez oparcie wnioskowania tylko o dane historyczne i brak świadomości lub raczej zaprojektowania algorytmów w taki sposób, żeby uwzględniały ostatnie zmiany demograficzne.
Algorytmy i białe twarze
Ciekawa wydaje się teza Cathy O’Neil, która swoją książkę „Weapon of Math Destruction” wydaną w 2016 roku, poświęciła wpływowi algorytmów na różne obszary naszego życia. Autorka twierdzi, że ludzie mają skłonność do obdarzania matematycznych wzorów zbyt wielkim zaufaniem. A uprzedzenia – jak twierdzi – mogą tworzyć się na różny sposób i na wielu poziomach. Zwróciła też uwagę na to, że negatywne procesy mogą rodzić się wcześnie, jeszcze przed gromadzeniem danych, które potem posłużą algorytmom do analiz. Doświadczyli tego mechanizmu menedżerowie firmy Amazon. Zauważyli oni bowiem, że stosowane przez nich programy wspomagające rekrutacje, regularnie dyskryminowały kobiety. W wynikach obejmujących grupy dobrze rokujących pracowników, kobiet było zawsze o wiele mniej. Dlaczego? Znowu przez dane historyczne, gdzie więcej mężczyzn aplikowało na określone stanowiska. Zaburzało to parytety zatrudnienia kobiet vs mężczyzn i poniekąd preferowało mężczyzn, a finalnie błędnie kreowało politykę zatrudnienia.
Algorytmy nie znają się na kulturowych przemianach
Programy bazowały na pracy algorytmów, które były projektowane w okresie, kiedy istniała duża nierównowaga w zatrudnianiu obu płci. Nadreprezentacja mężczyzn była charakterystyczna dla określonego momentu w historii. Wytrenowane na historycznych danych algorytmy, posługiwały się „przekonaniem”, że świat się nie zmienia. Działały więc w oparciu o złe założenia i uproszczenia (czarny kolor skóry, to większe prawdopodobieństwo przestępstwa, większy profesjonalizm to z kolei domena mężczyzn).
Niepokojące pytania
Nie będzie błędem przeczucie, że mechanizmy analogiczne do opisanych wyżej, mogą działać w wielu obszarach życia zawodowego i prywatnego. W ilu przypadkach, które nie są nam znane, organizowanie danych może opierać się na błędnych założeniach? W ilu sytuacjach algorytmy nie uwzględniają przemian ekonomicznych i kulturowych?
Black Box to termin, którego używa się, by wyrazić ludzką bezradność, wobec tego, co może dziać się w „mózgach” sztucznej inteligencji. Nasza niewiedza i coraz większa samodzielność algorytmów, które jak się okazuje, nie są alfą i omegą, generują niepokojącą mieszankę. Algorytmiczne uprzedzenia nie znikną za dotknięciem czarodziejskiej różdżki. Pytanie kluczowe brzmi: czy istnieje szansa na to, by specjaliści projektujący algorytmy, które często samodzielnie projektują lub trenują kolejne algorytmy, uświadamiali sobie mocniej własną odpowiedzialność i fakt, że uprzedzenia algorytmów bywają prostym przedłużeniem ludzkich postaw i praktyk.
. . .
Cytowane prace:
IBM, Memphis Police Department, IBM SPSS: Memphis Police Department, A detailed ROI case study, Link, 2015.
The Verge, by Maurice Chammah, with additional reporting by Mark Hansen, POLICING THE FUTURE. In the aftermath of Ferguson, St. Louis cops embrace crime-predicting software, Link, 2018.
ProPublica, Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks, by Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, ProPublica, Link, 2018.
. . .
Powiązane artykuły:
– Uczmy się jak maszyny, a nawet bardziej
– Już czas, by pogadać z maszyną
– Czy algorytmy będą popełniać zbrodnie wojenne?
– Maszyno, kiedy nauczysz się ze mną kochać?
– Kiedy przestaniemy być biologicznymi ludźmi?
TomK
Obecne AI jest jak młotek. Taki bardziej zaawansowany młotek. Czyli że robi to co mu każesz. A jak podejmuje decyzje, to spośród takich jakie mu podałeś. Ale nie ma samoświadomości ani własnej woli. Nawet nie wiadomo, czy jesteśmy już o krok od uzyskania samoświadomego AI czy brakuje nam jeszcze 1000 lat, bo po prostu nikt nie ma pojęcia co odpowiada za samoświadomość.
Ja bym się bardziej obawiał złych ludzi. Bo AI to tylko narzędzie, ale w pewnych zastosowaniach bardzo potężne i może pozwolić zdobyć/utrzymać bardzo dużą władzę jednostce/jednostkom.
CzarekZ23
Bardzo fajny tekst
Andrzej44
W literaturze pojawia się coraz więcej prac, które opisują wykorzystanie sieci neuronowych przy zagadnieniach przetwarzania sygnałów takich jak konwersje, filtracje i aproksymacje. Bardzo często możemy również spotkać sieci neuronowe w zastosowaniach dotyczących robotyki, automatyki (identyfikacji sygnałów dyna- micznych, sterowania ruchem pojedynczego obiektu, w metrologii – do oceny błę- dów sensorów), teorii sterowania (zwłaszcza sterowania adaptacyjnego w układach samouczących się) oraz zagadnieniach optymalizacji i telekomunikacji.
Adam
jestesmy po prostu ludzmi
Don Fisher
SI jest tworzona „na nasz obraz i podobieństwo”. Z jednej strony to odrobinę przerażające, bo nieuchronnie pcha nas to do wytworzenia sztucznej osobliwości, ale z drugiej… nie jest to w żaden sposób dziwne. Skoro SI ma wykonywać dla nas określone zadania oraz bazować na naturalnych sposobach komunikacji, musi w pewien sposób przypominać ludzi.
AdaZombie
Systemy AI nie potrafią nauczyć się kreatywności, innowacyjności, nie posiadają intuicji i wyrozumiałości. To cechy (na ten moment) zarezerwowane dla człowieka, które sprawiają, że potrafimy m.in. odróżniać, co jest dobre, a co złe oraz odczytywać sygnały niejednoznacznie nacechowane. Brak tej umiejętności sprawia, że systemami sztucznej inteligencji można manipulować, wprowadzając celowo nieprawdziwe dane i zaburzając proces poznawczy.
Zoeba Jones
jesli maszyny sa budowane na nasze podobienstwo to znaczy ze ze wszystkimi naszymi problemami i ulomnosciami
Aaron Maklowsky
imo panikarstwo. Zawody umierają i powstają. Jest masa zawodów, które wymarły, ale ciągle powstają inne. Myślałby ktoś kiedyś, że będzie coś takiego jak YouTuber, Influencer, Coach motywacyjny, a zniknie kowal czy latarnik? Taka jest kolej rynku, trzeba znaleźć swoją niszę, a nie biadolić, że państwo ma ratować, bo skończy się na dopłacaniu do nierentownych inwestycji. Urząd Pracy chyba oferuje jakieś kursy czy szkolenia, ale nie korzystałem więc nie twierdzę, że na pewno.
Aha no i na koniec – nie ważne jak wiele pracy zajmą maszyny, ZAWSZE będzie potrzebny ktoś do ich nadzoru. Nawet jeśli jego praca będzie polegała tylko na tym, żeby siedzieć i się gapić i w razie problemów wcisnąć czerwony guzik.
Andrzej Czeczowski
AI jako OKURWATERMINATOR jest przynajmniej stulecie przed nami.
Source: Informatyka stopień I. Żaden z prowadzących profesorów (a.k.a. ludzi z 30-40 lat expa) nie boi się AI.
Mac McFisher
W „Terminatorze” z 1984 roku Skynet, system SI, zyskuje samoświadomość i rozpoczyna apokalipsę, której cele jest unicestwienie ludzkości. W serialu HBO „Westworld” obdarzone sztuczną inteligencją hosty mordują ludzi – nie, żeby ludziom się nie należało, ale to inna historia.
Andrzej44
nie tylko urzedzen ale rowniez obaw
Adam
W wizjach z lat 70 czy 80 mieliśmy mieć kolonie na Marsie a w pracy pomagały nam androidy. No i nie ma tego.
Płatności bez naszej wiedzy ? To może u zamożnych lemingów. Tylko pewnego dnia obudzą się z długami na kredytówkach. Które zaciągnęła lodówka, komputer, telewizor…A nawet banki często mówią o kontroli wydatków.
John Accural
Bardzo fajny wpis
KrzysiekC
niestety ale to juz sie dzieje
JacekPaczka
„Uprzedzenia” nie są złe tylko bywają wynikiem niedostatecznej ilości danych. Rzecz w tym,że zbieranie ich „dostatecznej ilości” może z kolei oznaczać permanentne naruszenie prywatności.
Dla przykładu – oczywiście te heurystyki nie oceniały kto jest dzieckiem samotnej matki z kryminalną przeszłością,jakiej muzyki słucha na co dzień itd.Zbieranie i uwzględnianie takich danych było by nawet szkodliwe.
Jeśli heurystyka działa lepiej niż inne to jest lepsza w danych warunkach. Jeżeli działa źle – warto też określić dlaczego. Algorytmy z natury mają być poprawne a nie „politycznie poprawne”.
Adam T
To, ze machine learning moze dawac „uprzedzone” wyniki to wiadomo juz od dawna. Ostatnio ogladalem wyklad Stuarta Russela w tym temacie, najlepszym przykladem jest to, co wyprawiaja facebook i twitter podajac ludziom to, co sie klika i w konsekwencji doskonale polaryzujac jakakolwiek debate.
Tak samo jak przyklad Amazonu i bota rekrutacyjnego.
Przyklady, ktore podal Norbert nie sa najbardziej jaskrawe.
Oniwaban
Czy ciągle obciążać konsekwencjami prawnymi twórcę algorytmów użytych w produkcji samochodu? Czy wyjść już z założenia, że samochód jest tworem obdarzonym zarówno swoimi ochronnymi przywilejami, jak i obowiązkiem respektowania praw ustanowionych przez ludzi.
Avicenna
Fajne. Wszystko to dane
Piotr Kieczuch
Oczywiście że tak. Garbage in, garbate out. Jakimi danymi je sie napełni takich zachowań się nauczą