Z przeglądu Departamentu Obrony USA wynika, że nadmierne poleganie na sztucznej inteligencji przyczyniło się do marcowego ataku rakietowego na szkołę w Iranie, w wyniku którego według doniesień zginęło około 120 dzieci, zgodnie z ustaleniami przeglądu podanymi w poniedziałek przez Bloomberg i podsumowanymi przez Yahoo News i inne media.
Odkrycie to jest pierwszym przypadkiem, w którym Pentagon formalnie przypisuje śmiertelny wynik walki częściowo poleganiu na systemie sztucznej inteligencji, i wpisuje się w środek nasilonej debaty na temat tego, ile uprawnień w zakresie namierzania celów armia amerykańska powinna przekazać osądowi maszynowemu. Więcej takich raportów znajdziesz w naszym opisie etyki AI.
Co się wydarzyło w marcu
Do strajku doszło na początku marca 2026 r., kiedy analiza wideo opublikowana przez Bellingcat i zweryfikowana przez NPR i BBC pokazała, że amerykański pocisk manewrujący Tomahawk uderzył obok szkoły dla dziewcząt w irańskim mieście Lamerd. W ciągu kilku dni „The New York Times” podał, że wstępne dochodzenie przeprowadzone przez USA wykazało, że atak był wynikiem amerykańskiego pocisku, a źródła irańskie podają, że ofiar śmiertelnych są dziesiątki, w większości dzieci.
Nowy przegląd Pentagonu, opisany w opublikowanym w poniedziałek dochodzeniu Bloomberga, idzie dalej: według doniesień śledzi awarię w rurociągu docelowym i stwierdza, że do strajku przyczyniło się nadmierne poleganie na sztucznej inteligencji. Yahoo News podsumowało tę recenzję jako powiązanie systemu namierzania AI ze strajkiem, w którym zginęło 120 irańskich dzieci; kilka punktów sprzedaży zidentyfikowało omawiany system jako oprogramowanie dostarczane przez Palantir, chociaż Pentagon nie potwierdził publicznie szczegółów dostawcy.
Wewnątrz łańcucha zabójstw
„Los Angeles Times” w ramach równoległego dochodzenia opublikowanego w poniedziałek prześledził tak zwany amerykański „łańcuch zabójstw”, który zniszczył szkołę – sekwencja gromadzenia danych, wyznaczania celów za pomocą maszyn i zatwierdzania przez człowieka, która zakończyła się wystrzeleniem rakiety. Doniesienia podkreślają niewygodną rzeczywistość współczesnej wojny precyzyjnej: załoga strzelająca z Tomahawka może w ogóle nie zobaczyć celu. Wykonują docelowy pakiet danych zebrany wcześniej, a narzędzia algorytmiczne w coraz większym stopniu kształtują to, co zostanie nominowane i pewność wspierających analityków.
Innymi słowy, główny wniosek przeglądu – nadmierne poleganie – nie dotyczy robota pociągającego za spust. Chodzi o to, aby ludzie ufali wydajności maszyny na tyle, aby pominąć sceptycyzm, którego wymagał ten proces.
Nadzór, który został rozwiązany
Kontekst awarii został zgłoszony kilka miesięcy temu. W marcu Politico ujawniło, że szef Pentagonu zwolnił biura, które nie przyczyniły się do osiągnięcia jego celów w zakresie „śmiertelności”, w tym w Centrum Doskonałości Ochrony Cywilnej, oraz że personel zespołów łagodzących szkody cywilne spadł o około 90%, zmniejszając się ogółem do mniej niż 20 osób. ProPublica podała, że zespół ds. ofiar cywilnych Centralnego Dowództwa zmniejszył się z dziesięciu osób do jednego.
Na tym tle ustalenia przeglądu nie przypominają błędu oprogramowania, a raczej awarię systemu: narzędzia sztucznej inteligencji, którego błędy nie zostały zakwestionowane w urządzeniu namierzającym, którego ludzkie sieci bezpieczeństwa zostały przecięte do kości.
Wzór, o którym Pentagon już wiedział
Atak Iranu nie był odosobnionym przypadkiem, w którym w amerykańskiej armii doszło do nieudanego ataku związanego ze sztuczną inteligencją. Oddzielne raporty Gizmodo i Futurism dokumentują incydent, w którym wojsko prawie weszło na pokład chińskiego statku i potencjalnie ostrzelało go, po tym jak system sztucznej inteligencji wywołał halucynację na pokładzie znajdującego się na nim materiału broni nuklearnej, co było błędem, który mógł wywołać eskalację wielkich mocarstw. W tym przypadku interwencja człowieka zapobiegła katastrofie. W Iranie do takiej interwencji nie doszło.
Badacze sztucznej inteligencji i badacze etyki wojskowej ostrzegają od lat, że dane wyjściowe maszyn stosowane w decyzjach o dużej stawce powodują błąd automatyzacji — udokumentowaną ludzką tendencję do nadmiernego ufania pewnym systemom. Recenzja Pentagonu stanowi obecnie oficjalne potwierdzenie, że to uprzedzenie przyczyniło się do jednej z najbardziej śmiercionośnych ofiar wśród ludności cywilnej wojny.
Co będzie dalej
Przegląd prawdopodobnie zintensyfikuje presję w Waszyngtonie w sprawie ustawowych wymogów dotyczących „człowieka w pętli” w zakresie celowania z wykorzystaniem sztucznej inteligencji, w tym samym czasie, gdy administracja będzie nalegać na przyspieszenie przyjęcia sztucznej inteligencji w wojsku. Komplikuje to również ofertę sprzedażową dostawców technologii obronnych, których produkty są obecnie objęte formalną oceną usterek, i daje Kongresowi konkretne, udokumentowane studium przypadku, które można cytować podczas przesłuchań w sprawie polityki w zakresie broni autonomicznej.
Wiele pytań pozostaje bez odpowiedzi. Opublikowane dotychczas podsumowania przeglądu nie precyzują, która wersja modelu była używana, czy awaria była halucynacją, błędną klasyfikacją budynku, czy też uszkodzonymi danymi wejściowymi na wejściu – rozróżnienia te mają ogromne znaczenie dla sposobu, w jaki wojsko powinno regulować narzędzia sztucznej inteligencji. Nie jest też jasne, czy wyniki systemu zostały sprawdzone przez jakiegokolwiek analityka przed sfinalizowaniem pakietu docelowego.
Opinia publiczna jest już sceptyczna: sondaż Reuters/Ipsos opublikowany w tym tygodniu wykazał, że 73% Amerykanów twierdzi, że firmy zajmujące się sztuczną inteligencją nie robią wystarczająco dużo, aby zapobiec katastrofalnym skutkom, a obawy dotyczące sztucznej inteligencji w systemach uzbrojenia są stale wyższe niż obawy dotyczące sztucznej inteligencji konsumenckiej. To, co stanie się z zaleceniami przeglądu – i czy ktokolwiek zostanie pociągnięty do odpowiedzialności – zasygnalizuje, czy odkrycie zmienia praktykę, czy też stanie się kolejnym raportem o incydencie złożonym i zapomnianym.
---
Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
