Kto jest właścicielem ryzyka AI? Brakujące ogniwo między technologią a nadzorem korporacyjnym

Rok temu Zillow zamknął Zillow Offers, swój biznes bezpośredniego skupu domów na podstawie algorytmicznych wycen. Modele nie przewidziały, jak szybko zmieni się rynek mieszkaniowy, firma została z tysiącami domów wartych mniej, niż za nie zapłaciła, i ogłosiła zwolnienie około jednej czwartej pracowników. Algorytmiczna pomyłka stała się porażką strategiczną, dużym odpisem i historią o nadzorze korporacyjnym.
W tym roku regulatorzy w kilku krajach europejskich nałożyli kary na Clearview AI za pozyskiwanie bez zgody miliardów zdjęć twarzy. W sierpniu amerykański Narodowy Instytut Standaryzacji i Technologii (NIST) opublikował drugi projekt swoich ram zarządzania ryzykiem AI, a ostateczna wersja ma się pojawić na początku przyszłego roku.
Różne wydarzenia, jedno wspólne pytanie. Kiedy AI zawodzi, kto w organizacji jest właścicielem ryzyka?
Dzisiejsza odpowiedź: nikt konkretny
W wielu firmach ryzyko AI domyślnie trafia do funkcji technologicznej. Data scientiści budują modele, IT je wdraża, a nadzór, jeśli istnieje, jest przeglądem technicznym.
Ale spójrzmy, z czego faktycznie składa się ryzyko AI. Dyskryminacja to ryzyko prawne i reputacyjne. Naruszenia prywatności to ryzyko regulacyjne. Błędy modeli mogą być ryzykiem finansowym, co pokazuje Zillow. Luki bezpieczeństwa to ryzyko operacyjne. Utrata zaufania klientów to ryzyko handlowe.
Żadne z nich nie jest przede wszystkim techniczne. Wszystkie w końcu trafiają na agendę rady nadzorczej, zwykle po fakcie.
Co NIST ujmuje trafnie
Ramy NIST są dobrowolne i celowo ogólne. Ich wartość leży w strukturze. Porządkują zarządzanie ryzykiem AI w cztery funkcje: nadzoruj, mapuj, mierz i zarządzaj. I stawiają nadzór na pierwszym miejscu, jako funkcję przekrojową, która określa kulturę, odpowiedzialność i role w całej organizacji.
To jest kluczowe spostrzeżenie. Zarządzanie ryzykiem AI to nie krok walidacji modelu. To system organizacyjny, który potrzebuje właścicieli w dziale prawnym, compliance, bezpieczeństwie, danych, operacjach biznesowych i w zarządzie.
Praktyczny model
Z mojego doświadczenia z organizacjami regulowanymi wynika, że działająca struktura ma trzy linie, podobnie jak przy ryzyku finansowym.
Właściciele biznesowi odpowiadają za systemy AI w swoich procesach, łącznie z wynikami, a nie tylko z działaniem.
Funkcja centralna, często łącząca kompetencje z zakresu ryzyka, prawa i danych, ustala standardy, prowadzi rejestr systemów AI i przegląda te wysokiego ryzyka.
Audyt wewnętrzny i rada nadzorcza zapewniają niezależny nadzór i pytają, czy system działa.
Konkretny projekt ma mniejsze znaczenie niż zasada. Każdy istotny system AI powinien mieć wskazanego z nazwiska właściciela biznesowego, a ryzyko AI powinno znaleźć się w rejestrze ryzyk przedsiębiorstwa obok ryzyka kredytowego, rynkowego, operacyjnego i cybernetycznego.
Pytanie rady nadzorczej
Rady nadzorcze nie muszą rozumieć sieci neuronowych. Muszą natomiast zadać kilka prostych pytań. Jakie systemy AI podejmują lub kształtują istotne decyzje w tej firmie? Kto jest właścicielem każdego z nich? Skąd byśmy wiedzieli, że któryś z nich zawodzi? Większość rad nie dostałaby dziś jasnej odpowiedzi.
Pytanie o przywództwo: Czy ryzykiem AI powinien zarządzać dyrektor IT lub technologii, czy powinno ono stać się stałą odpowiedzialnością rady nadzorczej i zarządu?


