Artykuł w wersji audio
Szanowni pasażerowie, osoby podróżujące bez ważnego biletu, zakłócające porządek lub palące w miejscach publicznych będą ukarane, a ich zachowanie zostanie odnotowane w systemie zaufania społecznego. Proszę przestrzegać zasad, aby uniknąć negatywnej oceny”. Ogłoszenie tej treści w pociągu z Pekinu do Szanghaju nagrał w październiku reporter James O’Malley. Króciutki film opublikował w jednym z serwisów społecznościowych i opatrzył podpisem: dystopijna wizja przyszłości.
Tyle że w Chinach to już teraźniejszość, posunięta do patologicznego absurdu. Właśnie ogłoszono, że do końca grudnia chińskie sądy, opierając się na wytycznych z systemu zaufania, odmówiły 17,5 mln obywateli zakupu biletów lotniczych. Dodatkowo 5,5 mln osób nie mogło kupić biletów kolejowych, a 128 Chińczykom nie pozwolono wyjechać z kraju, bo nie zapłacili podatków.
Narzędzie tworzone jest od początku dekady. Posłusznym ma ułatwiać życie. Zasługują na przywileje zależne od liczby zgromadzonych punktów i pozycji w rankingu. Dostają kredyty bankowe na korzystnych warunkach. Nie potrzebują kaucji przy wynajmowaniu samochodu. Czeka ich mniej formalności przy wymeldowaniu z hotelu i łatwiejsza ścieżka w uzyskiwaniu wizy np. do Singapuru. Za to krnąbrni stawiani są do pionu. Nie polecą. Nie kupią nieruchomości ani ubezpieczenia. Trudniej im znaleźć pracę i wysoko notowaną partię w internetowych portalach randkowych. Ich dzieci nie dostaną się do prestiżowych szkół, nawet jeśli rodziców stać na czesne.
System ma być rozciągnięty na całe chińskie społeczeństwo w przyszłym roku. Na razie działa w trybie testowym i pracowicie gromadzi dane. O niespłaconych kredytach, przestępstwach i mandatach, choćby za wyprowadzanie psa bez smyczy. Analizuje zachowania w internecie i poza nim. Co Chinka lub Chińczyk kupuje, jak spędza czas wolny, gdzie przebywa i z kim, jakie ma poglądy polityczne. Ziarno do ziarnka budowany jest ranking użyteczności, decydujący wyznacznik pozycji jednostki.
Profil publiczny
Budując coś takiego, Chińczycy celują w rekord świata w dziedzinie wścibskości i przy okazji prezentują pełen wachlarz możliwości maszynowych rządów. Ale systemy ADM, automatycznego czy też algorytmicznego podejmowania decyzji lub ich wsparcia, używane są także w zachodnich demokracjach.
ADM przesycony jest sektor prywatny, zwłaszcza w sieci. Od algorytmów zależy, jaką piosenkę zagrają serwisy muzyczne, co się wyżej wyświetli w okienku wyszukiwarki i w portalach społecznościowych. Algorytmy poznają nas coraz lepiej, uczą się naszych wyborów, znają nasz stan zdrowia i następnym razem dostosowują się do naszych domniemanych potrzeb lub instrukcji reklamodawców, aby pokazać nam ofertę produktu prawdopodobnie dla nas dopasowanego.
W pozawirtualnej rzeczywistości prywatne przedsiębiorstwa szacują na podstawie algorytmów naszą zdolność kredytową i uruchamiają ciężarówki jeżdżące drogami publicznymi bez kierowców. Idą jeszcze dalej, jak pewna fińska firma oferująca usługę skanowania poczty elektronicznej osób kandydujących do pracy. Przeprowadzona przez nią analiza korespondencji pozwala stworzyć profil użytkownika i sprawdzić, czy zainteresowany będzie odpowiadał pracodawcy i czy nadaje się do przyszłego zajęcia.
O tzw. profilowaniu w sieci słychać coraz częściej. I wiadomo, że takie narzędzia biznes masowo stosuje. Rachityczny sprzeciw wobec tego rodzaju metod oznacza również, że taki porządek nam z grubsza pasuje (albo że mało o sprawie wiemy, więc nie potrafimy się do niej odnieść). Natomiast zakres wykorzystania systemów przez sektor publiczny, rządy i administrację pozostaje poza radarem.
Skalę i społeczne znaczenie zjawiska stara się oszacować organizacja Algorithm Watch. Jej najnowszy raport to opis sytuacji w kilkunastu państwach Unii Europejskiej. – Zaskoczyła nas powszechność stosowania takich systemów przez sektor publiczny – przyznaje Matthias Spielkamp, redaktor raportu, współzałożyciel i dyrektor Algorithm Watch. Np. w Polsce ADM losowo przypisują sprawy sędziom, przydzielają dzieci do przedszkoli i żłobków w 20 miastach i profilują bezrobotnych.
Systemy działające na publiczne potrzeby dają znać o swoim istnieniu zazwyczaj wtedy, gdy spektakularnie zawodzą. W zeszłym roku we Wrocławiu system nadprogramowo zapisał do żłobków 299 dzieci, które następnie wypadły z listy. Okazało się, że jednak nie zgromadziły wystarczającej liczby punktów. CANARD, automatyczny system nadzoru ruchu drogowego, nie wysyłał mandatów kierowcom pojazdów elektrycznych, gdyż uznawał je za pojazdy służb pilnujących porządku na drogach.
Do poważniejszego zamieszania doszło w Szwecji, gdzie dziesiątki tysięcy bezrobotnych nie otrzymały należnego zasiłku. Zanim je wyłączono, komputery wydały i rozesłały do odbiorców pół miliona decyzji wstrzymujących wpłaty, przy czym 10–15 proc. z nich było błędnych. Nieprawidłowości wykryli sami urzędnicy. Nie wiedzą jednak ani kiedy zaczęło się źle dziać, ani jaka jest przyczyna, ani czy uda się błędne decyzje w ogóle poprawić. Na wszelki wypadek powrócono do ręcznej weryfikacji uprawnień.
Z kłopotem podobnych rozmiarów zmaga się Australia. Tam też chodzi o zasiłki i ich automatyczne wstrzymywanie. System działa od 2016 r., porównuje dane o dochodach przekazywane służbom podatkowym z tymi trafiającymi do Centrelinku, australijskiego odpowiednika ZUS. Jeśli zdaniem systemu beneficjent za dobrze zarabiał, automatycznie otrzymywał powiadomienie o obowiązku spłaty zadłużenia. Bywa że niesłusznie. Co najmniej 17 proc. długów spłacono niepotrzebnie, co oznacza 70 tys. przypadków.
– Administrację ku automatyzacji popycha presja na urzędników. Muszą robić coraz więcej, szybciej i lepiej. Byle za mniejsze pieniądze – stwierdza Matthias Spielkamp. I dodaje, że prawidłowo przygotowane systemy są oczywiście w biurokracji pomocne. Podaje przykład Niemiec, niby zaawansowanych technologicznie, ale z administracją pracującą w standardzie końca XX w., głównie na papierze. W efekcie np. mieszkańcy Berlina czekają tygodniami na samo złożenie podania o paszport, a wraz z nim wielu dodatkowych dokumentów. Prawidłowa automatyzacja tej prostej procedury oczywiście ułatwiłaby życie.
Cena taniego państwa
Nie ma chyba w demokracjach polityków, którzy obiecują rozrost biurokracji i zwiększenie kosztów jej działania. Chodzi o to, by ciąć, zwłaszcza etaty, np. poręczną brzytwą automatyzacji. Atrakcyjnie wygląda to na poziomie samorządowym, szczególnie gminnym, w instytucjach z niewielkim personelem, obsługujących dużą liczbę obywateli. W Trelleborgu, szwedzkim mieście portowym liczącym 25 tys. mieszkańców, od 2017 r. działa system wspierający podejmowanie decyzji w sprawie zasiłków. Liczba urzędników spadła z 11 do 3, zmniejszyła się też liczba przyznawanych świadczeń. Kolejne kilkanaście gmin zainteresowało się tym rozwiązaniem, Trelleborgowi przyznano nagrody za innowacyjne podejście.
Przy czym spełnienie obietnicy o tanim państwie ma swoją cenę. W jednej z gmin, która przeszczepiła model trelleborski, w ramach protestu odeszła połowa urzędników, którzy dotąd zajmowali się przyznawaniem świadczeń. Oszczędności bywają też pozorne. Feralny australijski system kosztuje mniej więcej tyle, ile uzyskuje od obywateli. Skrytykował go rzecznik praw obywatelskich, opozycja mówi o katastrofie, ale rząd planuje wykorzystywać go co najmniej do 2022 r.
Promotorom ADM często chodzi albo o oszczędności, albo o jakieś ułatwienia. Ale jakoś tak często wypada, że w pierwszej kolejności są to ułatwienia dla twórców systemu. Np. dla samej administracji, a niekoniecznie dla petentów. Kłopoty zaczynają się, gdy petent, którego dotyczy decyzja, próbuje odkręcić błędy, twierdzi Julia Reda, niemiecka europosłanka z Partii Piratów, ugrupowania propagującego ochronę prywatności. Zwraca ona uwagę, że mowa o systemach wykorzystywanych do obsługi najsłabszych członków społeczeństwa. Przy czym, sądzi Reda, systemy oparte na sztucznej inteligencji wcale inteligentne nie są, a i im, i algorytmom towarzyszą nadzieje, że to właśnie one rozwiążą najbardziej skomplikowane problemy społeczne.
Tyle teoria. W praktyce np. w Australii chodzi o kwoty niebagatelne, nawet i kilkanaście tysięcy dolarów, czyli wielomiesięczne zarobki albo czesne w szkołach. Dopiero co owdowiała matka ma zwracać 13 tys. dol. australijskich. Inna samotna matka, która nie może liczyć na alimenty od byłego partnera – 23 tys. Ci, którzy dostali informację o zaskakującym zadłużeniu, mówią, że po otwarciu koperty ziemia usunęła im się spod nóg. Wrażenie zrobiły kolportowane w prasie informacje o 2 tys. osób, które zmarły krótko po otrzymaniu wezwań do zwrotu świadczeń. I choć nie sposób wskazać związku między zgonami a zawiadomieniami, niepokój pozostał.
Brak łatwego sposobu odwołania się od decyzji to klasyczna przypadłość nie tylko ADM, ale w ogóle całej branży cyfrowej, z reguły nieodbierającej telefonów. Julia Reda osobiście pomaga znajomym odblokowywać konta na Facebooku, bo szary człowiek nie ma szans dobić się do administratorów. Europosłanka zajmująca się prawami w sieci wie, do kogo zadzwonić, i ma gwarancję, że po drugiej stronie słuchawkę podniesie człowiek, a nie uzbrojony w sztuczną inteligencję komputer.
Na ile maszyna jest ślepa?
Moda na ADM bierze się z ogólnego boomu na automatyzację, mającą być gwarancją zachowania konkurencyjności gospodarek i rękojmią utrzymania dobrobytu. Kusi zwłaszcza perspektywa czystego procesu decyzyjnego, opartego nie na urzędniczym widzimisię, ale klarownych matematycznych formułach. Ich deklarowana bezstronność pozwala uzasadnić wprowadzenie niemal każdego systemu, nawet w dziedzinach uznawanych za problematyczne.
W styczniu Wojewódzki Sąd Administracyjny w Warszawie nie przychylił się do wniosków organizacji pozarządowych o upublicznienie algorytmu systemu przydziału spraw w sądach polskich. Uznał, że sam kod, czyli przepis na losowanie, nie stanowi informacji publicznej. Strona społeczna zapowiada starania w kolejnej instancji, bo nadal nie wiadomo, na ile maszyna losująca jest ślepa i do jakiego stopnia wpływ na obsadę spraw mają urzędnicy Ministerstwa Sprawiedliwości.
Matthias Spielkamp radzi, by nie koncentrować się jedynie na stronie czysto technologicznej: – Kluczowa jest informacja o przeznaczeniu i logice systemu. Objaśnienie, dlaczego został wprowadzony i do czego służy. Zdaniem Spielkampa chodzi o przejrzystość nie tyle samego algorytmu, ale tego, kto i jakich systemów do czego używa. – Jeśli w jakimś kraju typuje się uczniów mogących mieć problemy w szkole, a przy tym nie wiadomo, kto taki system nadzoruje, to zaczynam mieć wątpliwości.
Jego Algorithm Watch czeka od kilku miesięcy na odpowiedź fińskiego rzecznika danych osobowych, czy firma od analizowania poczty elektronicznej w ramach rekrutacji pracowników działa legalnie. Niewykluczone, że to działalność zgodna z prawem, bo główni zainteresowani godzą się na przeglądanie ich korespondencji. Pytanie tylko, jakie dane używane są do analizy i kto je przechowuje. Rzecz wygląda kontrowersyjnie i intuicyjnie niefińsko. Zresztą usługa nie jest popularna, a firma ma niewielu klientów.
O ile jednak z prywatnych rozwiązań można nie korzystać, np. nie godzić się i nie klikać tak, jak zagra przedsiębiorca, o tyle przed państwowymi czy samorządowymi systemami nie ma dokąd uciec. Nie informuje się przy tym obywateli, którą decyzję wydał automat, a za którą stoi urzędnik z krwi i kości. Stąd rekomendacja autorów raportu Algorithm Watch, by interesować się wykorzystaniem algorytmów, ponieważ konsekwencje dosięgną każdego. I to nie tylko w państwach autorytarnych, takich jak Chiny.
Jak alarmują w „Foreign Policy” Jacob Mchangama z duńskiego think tanku Justitia oraz Hin-Yan Liu, profesor prawa z Uniwersytetu Kopenhaskiego, zatrudniając sztuczną inteligencję do obsługi państwa dobrobytu, również liberalna demokracja może przypadkowo popełnić samobójstwo. I podają przykład Danii.
Najgłośniejsze rozwiązanie to pomysł władz jednej z podkopenhaskich gmin. Chodzi o to, aby ustalić z wyprzedzeniem, w których rodzinach dzieciom może grozić zaniedbanie i zdecydować, które dzieci prewencyjnie odseparować od rodziców. Wyznaczono kluczowe wskaźniki ryzyka, punktowano np. choroby psychiczne, bezrobocie rodziców i ich ewentualny rozwód. Dołączono unikanie wizyt lekarskich czy nawet przeglądów stomatologicznych.
Dania jest w ocenie pomysłu podzielona, ale rząd rozważa rozszerzenie narzędzia na resztę kraju. Jednak Mchangamę i Liu niepokoi fakt, że w ramach usprawnienia m.in. dystrybucji zasiłków państwo chce zbierać tak wiele danych, a wciąż brak przepisów, które określą, co z kolekcją podobnych informacji można zrobić. A to dopiero początek. Piszą o szerszym trendzie, bo coraz więcej wskazuje na to, że Zachód pełznie ku rządom wspomaganym algorytmami. W stronę śmiałego, nowego świata, w którym znaczne obszary życia będą zarządzane przez niewidoczny i niezrozumiały dla większości z nas kod cyfrowy, któremu trudno będzie się indywidualnie przeciwstawić i okiełznać go regulacjami. A tym bardziej dodzwonić się do niego z wyjaśnieniami.