Kto poniesie winę, gdy coś pójdzie nie tak?
Paradoksalnie parcie na maksymalną algorytmizację transportu nie poprawi sytuacji. Owszem, autonomiczne samochody są istotną częścią wizji świata, w którym jakiekolwiek wypadki drogowe należą do przeszłości, ale same algorytmy nam nie załatwią sprawy. Nawet gdy większość pojazdów poruszających się po drogach będzie już autonomiczna, to wciąż istotne będą zdolności komunikacyjne elementów infrastruktury drogowej, a kierowca – człowiek, w takim systemie staje się elementem chaosu, czymś nieprzewidywalnym.
Gdy osiągnie IQ 100 czy 150, nie będzie problemu. Ale gdy tysiąc albo 10 tysięcy, to co wtedy? To może być największe osiągnięcie ludzkości. Ale zarazem jej koniec.
Stephen Hawking, źr: Artur Włodarski, Sztuczna inteligencja. Bóg już istnieje, wyborcza.pl, 22 października 2016.
Zresztą, sam kod również w pewnym sensie jest nieprzewidywalny. Jakiekolwiek oprogramowanie jest zawsze wadliwe. Nie w sensie funkcjonalnym, chodzi raczej o to, że trudno o całkowite wyeliminowanie błędów w tworzonym kodzie. Błąd może dać o sobie w najmniej spodziewanym momencie i gdy tym bardziej nasze społeczeństwo będzie zależne od algorytmów, tym większe konsekwencje takich błędów poniesiemy. Nawet gdy założymy hipotetycznie że systemy działają poprawne, to wciąż może pojawić się nieprzewidziany przez programistę czy samoprogramującą się sztuczną inteligencję splot wydarzeń, czy interakcji. Inteligentne oprogramowanie może zadziałać właściwie, wyciągnąć właściwe wnioski, które mimo to okażą się w istocie błędne z powodu wadliwych lub sprzecznych danych. Kto zatem ponosi winę za wypadek? Producent? Programista? A może algorytm?
Sztuczna inteligencja jest potencjalnie groźniejsza od bomb atomowych.
Elon Musk
Z założenia algorytmy miały uprościć nasze życie. W większości przypadków tak w istocie jest. Algorytmy pozwalają zautomatyzować podejmowanie decyzji czy przypisywanie ocen. Jeżeli faktycznie jakiś program robi to niezależnie od wkładu ludzi i zgodnie z własnymi miarami, to zazwyczaj określa się go mianem inteligentnego, lub po prostu nazywa się go “sztuczną inteligencją”. Jednak jest też druga strona medalu. Algorytmy, niezależnie od tego, czy określimy je jako inteligentne, czy też nie, stają się nie tylko narzędziem, za pomocą którego wprowadzana w życie jest ludzka wola. Coraz większa szybkość ich działania i rosnąca autonomia powodują, że algorytmy zamiast rozwiązywać tworzą całe kategorie zupełnie nowych problemów poddając próbie tradycyjne koncepcje winy, kary czy odpowiedzialności. Dlatego takie incydenty jak katastrofa pojazdu Tesli, a przede wszystkim późniejsze, gorące dyskusje na ten temat w mediach, są niezwykle istotne. Oto – jako społeczeństwo – stajemy przed zupełnie nową klasą problemów indukowanych nowoczesnymi technologiami. Paradoksem jest, że tych problemów nie możemy rozwiązać technicznie, w sposób automatyczny. Coraz większa moc obliczeniowa, ilość pamięci, szybkość przetwarzania – nic tu nie zmienią, wręcz przeciwnie, mogą tylko pogłębić przepaść.
Algorytm sędzią człowieka?
Algorytmy coraz częściej kształtują nasze życie. Często nawet nie zauważamy w jak dużym stopniu. Określają one, czy i na jakich zasadach powinniśmy otrzymać pożyczkę, które wiadomości powinniśmy najpierw zobaczyć w internecie, czy też w ogóle je zobaczymy, z kim powinniśmy się spotkać i porozmawiać, a z kim pójść do łóżka. Algorytmizacja to – mogłoby się wydawać – święty Graal strategii. Algorytmy pomagają planować wojny i bitwy, bez względu na to, czy myślimy o nich w ujęciu metaforycznym, czy mamy na myśli dosłowne konflikty. Kod działający we współczesnym świecie kształtuje nasze spojrzenie na ten świat, wpływa na nasze przyjaźnie i kariery. I biada nam jeżeli popełnimy błąd, złamiemy przepis, prawo, zachorujemy czy stracimy majątek. Algorytmy nas zaszufladkują i mogą podejmować dalekosiężne decyzje dotyczące naszego życia: “nie nadaje się do pracy”, “nieubezpieczony”, “ryzyko recydywy”, “nie kwalifikuje się do kredytu” itd.
Z góry zakłada się, że programy umożliwiające przetwarzać dane wielokrotnie szybciej niż ludzie, są nieomylne. Uznaje się, że oceny wydane przez algorytm są słuszne. Ale czy na pewno? Laik nawet przy pełnej transparentności kodu algorytmu np. decydującego o przydzielaniu kredytu czy ocenianiu kwalifikacji potencjalnych pracowników, nie byłby w stanie stwierdzić, czy kod jest poprawny, a jego oceny zgodne z prawdą i sprawiedliwe. Problem jednak polega na tym, że większość algorytmów komercyjnych de facto klasyfikujących ludzi jest niejawna.
To, w jaki sposób i na podstawie jakich danych algorytmy podejmują decyzje, często stanowi tajną wiedzę wybranych korporacji. Co gorsza, mechanizm podejmowania decyzji bywa tak skomplikowany, że czasami staje się niezrozumiały nawet dla wtajemniczonych. Decyzje sztucznej inteligencji są trudne do zrozumienia. Wiele błędów może pojawiać się znienacka, nie ma tu celowości, a o byciu ofiarą często decyduje przypadek. Kto czuwa nad algorytmami i odpowiada za nie, gdy popełnią błąd? Państwo? Jakieś stowarzyszenie? Idea inteligentnej czarnej skrzynki, czyli coraz bardziej zaawansowanych, samo-rozwijających się sztucznych inteligencji (nie należy jej mylić z czarną skrzynką zbierającą dane wykorzystywane w przypadku np. katastrof lotniczych), których działanie przestaje być pojmowane nawet przez ich twórców (ściślej – twórców pierwszej iteracji AI), a które dają ślepo akceptowalne wyniki bez zrozumienia, w jaki sposób się do tych wyników dotarło to zakładanie pętli na szyję wolnej woli. Anders Sandberg, naukowiec z University of Oxford pracujący dla funkcjonującego na tej słynnej, brytyjskiej uczelni Future of Humanity Institute zwraca uwagę, że głębokie sieci neuronowe mogą spisywać się naprawdę bardzo dobrze, ale potrafią również popełniać spektakularne błędy. Najwyższy czas by ludzie zrozumieli, że nie mogą bezgranicznie zaufać technologiom takim jak autonomiczne pojazdy, czy autonomiczne systemy medyczne.
Rozwój pełnej sztucznej inteligencji mógłby oznaczać koniec rasy ludzkiej
Stephen Hawking w wywiadzie dla BBC, grudzień 2016
Tym, którzy sądzą, że zaawansowanych algorytmów sztucznej inteligencji jest dziś na tyle mało, by stanowiły problem, muszę uprzedzić, że się mocno mylą. Owszem, po części to prawda, zaawansowanych systemów nie ma zbyt dużo, choćby w naszym kraju. Widzieliście w Polsce Teslę? No, jest kilka. Autopilot? Autonomiczny transport? U nas to mrzonka. Z algorytmami problem polega na tym, że nie muszą być ani szczególnie inteligentne, ani szczególnie skomplikowane. Wystarczy, że są szybkie, a problem i tak może się pojawić. Doświadczyli tego obywatele Australii, którzy otrzymywali świadczenia socjalne. Rząd tego kraju wdrożył w lipcu 2016 roku system informatyczny, który miał samodzielnie, bez udziału człowieka oceniać, czy dana osoba ma faktycznie do tych świadczeń prawo. W przypadku rozbieżności system automatycznie wysyłał żądanie udostępnienia stanu konta, a gdy spotykał się z odmową, ruszała procedura wysyłania powiadomień od windykatorów. Jak się okazało system działał źle i w ciągu jednego zaledwie tygodnia generował ok. 20 tysięcy interwencji. Tyle samo, ile wysyłali wcześniej ludzcy urzędnicy, ale w ciągu całego roku. Dziesiątki tysięcy ludzi otrzymało błędne ostrzeżenie. Późniejsze dochodzenie wykazało, że do problemu by nie doszło, gdyby cały projekt był lepiej zaplanowany, zrealizowany i komunikowany zainteresowanym. Miesiące po błędnym wysłaniu powiadomień windykacyjnych zostały one unieważnione. Oczywiście każdy błąd można naprawić, ale gdy szkoda już powstała, trudno zakładać, że społeczeństwo zaufa takim rozwiązaniom.
Twierdzenie, że inteligentne algorytmy w coraz większym stopniu ingerują w nasze życie jest truizmem. Oczywiste, że im dalej postępuje cyfryzacja społeczeństwa, tym więcej punktów zaczepienia dla automatyzacji procesów społecznych, gospodarczych i jakichkolwiek innych. Sztuczna inteligencja ocenia nas, analizuje nasze zachowanie, pamięta nasze nawyki, podejmuje decyzje dla nas i za nas, zmieniając w ten sposób zarówno sferę publiczną, jak i prywatną. O tym, jak skutecznie potrafi to robić na co dzień mogą przekonać się mieszkańcy Chin. Pisaliśmy o tym w artykule “Jak Chiny oceniają obywateli“.
Nowy, wspaniały świat. Doprawdy?
W działaniu SI kryje się obietnica prostego i bardziej wydajnego, wygodnego świata. Zdajmy sobie sprawę, że nie tylko modele biznesowe, ale i społeczne opierają się w coraz większym stopniu na takich technologiach jak sztuczna inteligencja, inteligentne miasta, przemysł 4.0, IoT (Internet of Things) itd. itp. Wszystko, co może być zautomatyzowane, powinno być zautomatyzowane. Czy jednak decyzje algorytmów zawsze są lepsze? Nauka dowodzi, że nie. Immanentną cechą każdego inteligentnego bytu jest popełnianie błędów. Dlatego po początkowym zachłyśnięciu się technologią najwyższy czas zastanowić się nad głębszym sensem i zasadnością digitalizacji.
Nie ulega wątpliwości, że algorytmy pomogły nam się uporać z wieloma problemami w czasie znacznie krótszym, niż uporalibyśmy się z nimi sami. Niestety, algorytmy tworzą również nowe problemy. Jako elementy należące do świata kodu, są podatne na błędy. Przez wydajność obliczeniową potrafią znacznie przyśpieszać ludzkie błędy i błyskawicznie wprowadzać w życie uprzedzenia i stereotypy swoich programistów i trenerów sieci neuronowych. Co prawda zrozumienie odpowiedzialności i niebezpieczeństw związanych z automatyzacją algorytmiczną dojrzewa, ale stanowczo zbyt powoli. W procesie tym ważna jest analiza tych nowych rodzajów problemów i ich wzajemne oddziaływanie w algorytmicznie przyspieszonym świecie. Tylko ci, którzy rozumieją działanie algorytmów, mogą zwiększyć wynikające z ich działania korzyści i zredukować ich szkodliwy potencjał.
Szczególnie istotny wydaje się problem braku neutralności. Algorytmy nie są najczęściej neutralnymi narzędziami. Ktoś je bowiem zbudował, a one więc najczęściej odzwierciedlają przekonania swoich twórców. W przypadku algorytmów typu “inteligentny agent”, czyli wyuczonych maszynowo, mamy do czynienia z odzwierciedleniem uprzedzeń zawartych w danych szkoleniowych sieci neuronowej. Problem ten ujawnia się na wiele sposobów. W kodzie wielu sztucznych inteligencji ujawnia się rasizm, seksizm i inne negatywne społecznie zjawiska. Przykład? Proszę bardzo: w 2015 roku Amazon odkrył, że stosowany przez korporację algorytm rekrutacyjny faworyzował mężczyzn w poszukiwaniu odpowiednich kandydatów. Nie dlatego, że mężczyźni byli obiektywnie bardziej odpowiednimi kandydatami, lecz wyłącznie dlatego, że algorytm został wyuczony starszymi danymi wygenerowanymi przez uprzedzonych płciowo pracowników kadr, którzy preferowali mężczyzn. Amazon wykrył problem, ponieważ potrzebował dobrych pracowników, a wybory algorytmu nadto zawężały listę potencjalnych kandydatów (bynajmniej nie dlatego, że ktoś uznał to za czystej wody seksizm). W konsekwencji system został zrewidowany, choć wątpliwości w dalszym ciągu pozostało na tyle dużo, że całe rozwiązanie zamknięto pod koniec 2017 roku.
Kwestia etyki algorytmów jest obecnie szczególnie wyraźnie podnoszona w Stanach Zjednoczonych. Działacze na rzecz praw obywatelskich coraz częściej odkrywają rasistowskie uprzedzenia w rzekomo neutralnych algorytmach oceniających ludzi. Na przykład w amerykańskim systemie wymiaru sprawiedliwości prawdopodobieństwo, że dana osoba będzie ponownie więźniem lub oskarżonym jest obliczana według różnych algorytmów analizujących m.in. stopień nadzoru, czas uwięzienia i wiele innych danych. Niestety, mamy tu ten sam problem, co w przypadku rekrutacyjnej SI z Amazona. System “zatrudniony” przez Departament Sprawiedliwości Stanów Zjednoczonych opiera swoje wnioskowanie na danych historycznych, wyrokach, danych śledczych itp.
W efekcie algorytm odzwierciedla rasistowskie uprzedzenia jakimi nacechowane są historyczne dane organów ścigania. Ludzie o innym kolorze skóry niż biała dostają z automatu gorsze noty niż biali. Zatem historyczny rasizm został w ten sposób ugruntowany w nowoczesnym i rzekomo neutralnym kodzie. Takie sprzężenia zwrotne, od algorytmu do społeczeństwa i z powrotem do algorytmu stanowią duży problem. Bo czymże mamy karmić system mający wnioskować na jakiś temat, jeśli nie danymi historycznymi? Takie uprzedzenia bardzo często uwidaczniają się w publicznie wykorzystywanych sztucznych inteligencjach, czy algorytmach automatycznego rozpoznawania i kategoryzacji obrazów.
Problem nagłośniła w tym roku badaczka z MIT, Joy Buolamwini, pokazując jak bardzo stronniczo komputery “widzą” świat. Zbadała ona trzy komercyjne systemy rozpoznawania twarzy produkowane przez IBM, Microsoft i Face++. Za pomocą tych rozwiązań sprawdzała jak rozpoznawane są portretowe zdjęcia mężczyzn i kobiet w różnych odcieniach skóry, a następnie porównała wskaźniki rozpoznawania. Efekt? Możecie się domyślić: wszystkie trzy systemy sztucznej inteligencji znacznie lepiej rozpoznawały mężczyzn niż kobiety, lepiej ludzi białych, niż osoby o ciemniejszej karnacji. Najgorzej rozpoznawane były kobiety o czarnym kolorze skóry.
Nic zatem dziwnego, że w świecie, w którym systemy rozpoznawania twarzy coraz częściej oznaczają jednocześnie klasyfikację kogoś jako podejrzanego, czy np. uprawnionego do dostępu do jakiegoś chronionego obszaru, takie “preferencyjne” działanie algorytmów może stwarzać pewną “techniczną niedogodność” dla kobiet o ciemnej karnacji. Buolamwini na stronie swojego projektu napisała: “dziś automatyzacja sterowana przez sztuczną inteligencję określa, kto zostanie zwolniony, kto awansowany, kto dostanie pożyczkę, ubezpieczenie, czy jak długo ma zostać w więzieniu”. Powiązania w bazach danych algorytmów decyzyjnych i wartościujących mają bardzo realny wpływ na ludzkie życie.
Systemy automatyczne nie są z natury neutralne. Odzwierciedlają one priorytety, preferencje i uprzedzenia – zakodowane spojrzenie tych, którzy mają moc kształtowania sztucznych inteligencji.
Joy Bouolamwini źr. www.poetofcode.com
Mamy świadomość funkcjonujących w społeczeństwach zjawisk takich jak rasizm i seksizm. Możemy się więc ustrzec tendencyjnych algorytmów. Ale przecież z pewnością są jakieś cechy, których u innych ludzi nie akceptujemy i które mogą wpływać na algorytmy tworzone przez ludzi. Wyobraźmy sobie tylko, że twórca inteligentnej aplikacji do obsługi lotów nie lubi ludzi z nadwagą? Jakie szanse na tani lot ma wówczas ktoś z BMI przekraczającym normę? Absurd? Owszem. Dopóki na własnej skórze nie przekonamy się, że algorytmy nie są neutralne. Algorytmy mają wpływ na świat znacznie większy, niż by to wynikało wyłącznie z ich zaplanowanej funkcjonalności – warto o tym pamiętać.
Prawdziwe problemy dopiero przed nami
Wszystko, co już wymieniliśmy daje obraz nowoczesnego, ale też kłopotliwego świata. Jednak prawdziwym wyzwaniem mogą okazać się sztuczne inteligencje o zdolności bojowej, nawet nie tyle pomyślanej jako explicite militarne zastosowanie, co kod zdolny do realizowania zautomatyzowanych ataków w cyberświecie. W końcu z malware’em walczymy od kilkudziesięciu lat, ale cyberprzestępcy też uczą się korzystać ze sztucznych inteligencji. Sztuczna inteligencja potrafi dziś “rozumieć” mowę, a także generować dźwięki, które człowiek zrozumie jako mowę innego człowieka (vide Google Duplex). Wyobraźmy sobie zatem atak typu spear phishing, ukierunkowany na konkretną osobę. Sztuczne inteligencje zbierają przydatne informacje o swoich celach, podszywają się pod prawdziwych ludzi poprzez syntezę mowy itp. Analogicznie możemy wyobrazić sobie ataki przeprowadzane za pomocą skoordynowanych, ale autonomicznych rojów dronów, ataki na autonomiczne pojazdy (wymuszenie wypadku), czy tworzenie ukierunkowanej propagandy jako przyczółka dla jeszcze bardziej zaawansowanych ataków wykorzystujących inżynierię społeczną i zdolność do manipulowania opinią publiczną całych społeczności.
I wcale nie chodzi nam tutaj o straszenie – rodem z filmów SF – superinteligentnymi złośliwymi bytami na miarę Skynetu. Gdy Elon Musk ostrzega przed SI jako “znacznie bardziej niebezpieczną, niż broń nuklearna” to raczej nie chodzi mu o “Terminatora”, lecz o błędy w oprogramowaniu inteligentnych algorytmów, skutkujące tym, że autonomiczny pojazd pędzi na betonową ścianę zabijając swojego właściciela. Smaczku dodaje fakt, że ów pojazd zbudowała firma… Elona Muska.
Z kolei nie można też ominąć innego aspektu – czyli zagrożenia ze strony SI samodzielnie podejmującej decyzje militarne. Na przykład armia USA już w zeszłym roku testowała rój autonomicznych dronów. W ramach prac nad nowym rodzajem broni testowane są małe samodzielne drony. Setka urządzeń potrafi samodzielnie sformować rój i przejść do działań bojowych. Projekt nosi nazwę perdix, czyli „szarańcza”. Doprawdy chcemy, by to w istocie twórca algorytmu decydował o tym, jak zachowa się w przyszłości taki rój. A co się stanie, gdy uzbrojony rój wymknie się spod kontroli. Kto za to odpowie?
Podsumowując, nietrudno zgodzić się z tym, że konstruowanie inteligentnych algorytmów wymaga skrupulatnego planowania, monitorowania, analizy i wszelkich działań, które mogłyby zniwelować późniejsze błędy działającego systemu. Niestety, obawy, że nie uda nam się wykryć wszystkich błędów są w pełni uzasadnione. Gdy zatem jesteśmy świadomi, że zarówno ludzie, jak i algorytmy są omylne, pozostaje na koniec pytanie: ile autonomii, a tym samym odpowiedzialności, chcemy pozostawić sobie, a ile maszynom? | CHIP