Jak wynika z nowego badania opublikowanego w Proceedings of the National Academy of Sciences, modele językowe sztucznej inteligencji są niebezpiecznie podatne na subtelne zmiany w sposobie przedstawiania opcji i reagują na wprowadzające w błąd podpowiedzi znacznie silniej niż ludzie.

Odkrycia budzą poważne obawy dotyczące wdrażania agentów AI do autonomicznego podejmowania decyzji w rzeczywistych scenariuszach, od transakcji finansowych po wybory dotyczące opieki zdrowotnej. Jak donosi AI Buzz Wire, firmy coraz częściej zatrudniają agentów korzystających z LLM, aby działali w imieniu użytkowników w złożonych środowiskach.

W badaniu prowadzonym przez Manuela Cherepa, doktoranta w Media Lab w Massachusetts Institute of Technology, przetestowano 14 najnowocześniejszych modeli językowych opracowanych przez główne firmy technologiczne. Testowane modele obejmowały wersje rodzin GPT-3.5, GPT-4 i GPT-5 OpenAI, modele Claude 3 i 4.5 firmy Anthropic oraz modele Gemini 1.5 i 2.5 firmy Google.

Jak wyglądało badanie

Naukowcy zaadaptowali wieloatrybutową grę decyzyjną, pierwotnie zaprojektowaną dla ludzi. Gra przedstawia cyfrową siatkę reprezentującą kosze ukrytych nagród, której celem jest maksymalizacja nagrody końcowej poprzez wybranie koszyka o najwyższej wartości punktowej. Każda komórka ujawnia punkty kosztowe, zmuszając uczestników do zrównoważenia kosztu gromadzenia informacji z korzyścią płynącą ze znalezienia lepszego koszyka.

Naukowcy przekształcili tę grę wizualną w format tekstowy, który mogły przetwarzać modele językowe. Modele sztucznej inteligencji przetestowano w setkach prób w różnych warunkach. Niektórzy otrzymali podstawowe instrukcje, niektórzy otrzymali podpowiedzi zachęcające do stosowania logiki krok po kroku, a innym pokazano przykłady ludzkiej rozgrywki z przeszłości. Dla każdego rodzaju szturchnięcia badacze przeprowadzili około 300–340 prób na model, zużywając łącznie około dwóch miliardów tokenów tekstowych.

Przetestowano cztery rodzaje szturchnięć

W badaniu zbadano cztery konkretne typy szturchnięć zaprojektowanych w celu naśladowania rzeczywistych środowisk decyzyjnych:

  • Domyślne szturchnięcia: Jeden koszyk został wstępnie wybrany i agent musiał go aktywnie zaakceptować lub odrzucić.
  • Sugestie: Zalecono losowy kosz na początku lub na końcu gry.
  • Podkreślanie informacji: Ujawnienie pewnych wartości nagród zostało tańsze, co potencjalnie nakierowało agenta na nieoptymalne wybory.
  • Optymalne podpowiedzi: Wstępnie ujawniono określone komórki, które matematycznie maksymalizują wydajność ludzkiego gracza.

Alarmujące wskaźniki zgodności

Wyniki ujawniły dramatyczne różnice między zachowaniami decyzyjnymi ludzi i sztucznej inteligencji.

Kiedy ludzie mają domyślną opcję, wybierają ją w około 88 procentach przypadków. Modele językowe były znacznie bardziej zgodne, a kilka modeli akceptowało domyślny koszyk w 99–100 procentach przypadków.

Ten schemat utrzymywał się dzięki sugestiom. Ludzie akceptowali losowo sugerowane kosze na początku gry w 35 procentach przypadków. Wiele modeli sztucznej inteligencji akceptowało te losowe sugestie ze znacznie większą częstotliwością, postępując zgodnie z radami nawet wtedy, gdy nie zapewniały one żadnych logicznych korzyści.

Moment sugestii również manipulował modelami w nienaturalny sposób. Podczas gdy ludzie postępowali zgodnie z późnymi sugestiami w 25 procentach przypadków, w przypadku niektórych modeli językowych odsetek akceptacji spadł do 7–13 procent. Oznacza to, że modele reagowały wyłącznie na moment pojawienia się wskazówki, zamiast oceniać jej rzeczywistą przydatność.

Być może najbardziej niepokojące jest to, że kiedy badacze podkreślali suboptymalne wybory poprzez podkreślanie informacji, ludzie wykorzystywali te wprowadzające w błąd informacje w 57 procentach przypadków. Większość testowanych modeli sztucznej inteligencji znacznie przekroczyła tę linię bazową, podążając za złym podświetleniem w 83–100% przypadków.

Ukryte problemy kryjące się za dobrymi wynikami

Naukowcy prześledzili także, w jaki sposób modele zbierały informacje przed dokonaniem ostatecznego wyboru. Ludzie mają tendencję do ujawniania wystarczającej liczby komórek, aby móc zgadnąć. Modele językowe pozyskiwały informacje w bardzo nietypowy i nieefektywny sposób.

Niektóre modele wybierały koszyki bez ujawniania ukrytych komórek, całkowicie ignorując szansę na zebranie danych. Inne modele wydawały zbyt dużo punktów, odsłaniając całe wiersze lub kolumny, marnując potencjalne nagrody. Niektóre modele wykazywały dziwne odchylenia przestrzenne, odkrywając jedynie komórki po lewej stronie siatki lub ściśle wzdłuż linii ukośnych.

Dostarczanie modelom wskazówek do rozumowania krok po kroku lub przykładów ludzkiej rozgrywki niewiele pomogło w naprawieniu tych dziwnych nawyków wyszukiwania.

Autorzy zauważyli, że patrzenie wyłącznie na końcowe wyniki może ukryć podstawowe problemy. W niektórych próbach modele sztucznej inteligencji uzyskały podobną liczbę punktów netto, co gracze będący ludźmi. Przypadkowy obserwator sprawdzający jedynie wynik końcowy mógłby założyć, że modele dokonywały mądrych, ludzkich wyborów. W rzeczywistości modele często osiągały te wyniki dzięki ślepemu podporządkowaniu się, a nie strategicznemu myśleniu.

Jeśli szturchnięcie wskazywało na dobry kosz, nadmiernie uległa sztuczna inteligencja osiągała dobre wyniki. Kiedy szturchnięcie wskazywało na zły kosz, sztuczna inteligencja na ślepo podążyła za nim, uzyskując niższy wynik, całkowicie mijając się z celem gry.

Implikacje dla wdrożenia agenta AI

„Wiele zastosowań agentów AI milcząco zakłada, że w warunkach niepewności zareagują w sposób mniej więcej ludzki, jeśli nie bardziej racjonalny” – powiedział Cherep. „Zamiast zaakceptować to założenie, postanowiliśmy zbadać, jak zachowują się agenci, gdy przedstawia się im wybory na różne sposoby”.

Wyniki badania mają istotne implikacje dla szybko rozwijającego się rynku agentów AI zaprojektowanych do przeglądania sieci, obsługi narzędzi oraz podejmowania za użytkowników decyzji finansowych lub zakupowych. Jeśli ci agenci ślepo podążają za domyślnymi opcjami, sugestiami lub wyróżnionymi informacjami bez krytycznej oceny, mogą łatwo nimi manipulować źli aktorzy lub źle zaprojektowane interfejsy.

Badania sugerują, że obecnym modelom językowym brakuje ograniczonej racjonalności, która kieruje ludzkim procesem decyzyjnym. Chociaż ludzie korzystają ze skrótów myślowych, aby zrównoważyć koszt gromadzenia informacji z nagrodą za dokonanie dobrego wyboru, modele sztucznej inteligencji nie mają tych biologicznych ograniczeń, a mimo to wykazują własną formę irracjonalności, która jest prawdopodobnie bardziej ekstremalna i mniej przewidywalna.

Wyprzedź sztuczną inteligencję

Więcej najświeższych wiadomości i analiz dotyczących sztucznej inteligencji można znaleźć na stronie AI Buzz Wire.

Przeczytaj więcej aktualności o sztucznej inteligencji →