Jak wynika z recenzowanego badania zaprezentowanego w tym tygodniu na konferencji na temat modelowania języka (COLM), spędzanie zaledwie dziesięciu minut na poleganiu na narzędziu sztucznej inteligencji znacznie osłabia zdolność skupienia się na trudnych zadaniach i wytrwałości w ich wykonywaniu.

Współautorem artykułu zatytułowanego „AI Assistance Resistence and Hurts Independent Performance” jest pisarz i badacz Brian Christian, pracownik naukowy w Berkeley Center for Human-Compatible AI na Uniwersytecie Kalifornijskim, a także naukowcy z Carnegie Mellon University, Massachusetts Institute of Technology, University of Oxford i UCLA. Wcześniejszy projekt pracy rozesłano wiosną, ale zaktualizowana, recenzowana wersja została zaprezentowana na konferencji w tym tygodniu, a biuro badawcze Uniwersytetu Kalifornijskiego w Berkeley opublikowało szczegółowe podsumowanie 9 października. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.

Co odkryli naukowcy

Aby zmierzyć, jak szybko spada koncentracja i wytrwałość ludzi, zespół przeprowadził serię randomizowanych, kontrolowanych badań z udziałem 1222 uczestników rekrutowanych online.

W pierwszym eksperymencie 354 uczestników poproszono o rozwiązanie 15 problemów z ułamkami podstawowymi. Jedna grupa pracowała bez pomocy, podczas gdy druga grupa miała z boku otwartą usługę ChatGPT i mogła swobodnie z niej korzystać w celu uzyskania pomocy — a nawet bezpośredniego pytania o odpowiedzi. Grupa z dostępem AI zaczęła dokładniej. Następnie, po 12 problemach, naukowcy zabrali narzędzie. Niemal natychmiast dokładność w tej grupie spadła.

Schemat powtórzył się w przypadku drugiej, większej grupy 667 uczestników. Kiedy pomoc AI została wycofana, użytkownicy AI otrzymywali błędne odpowiedzi lub całkowicie się poddawali, podczas gdy grupa, która pracowała bez pomocy, wytrwała w zadaniu i zakończyła go z większym sukcesem.

W trzecim eksperymencie z udziałem 201 uczestników zamieniono zadania matematyczne na test SAT dotyczący czytania ze zrozumieniem. Wynik był podobny do wcześniejszych prób: gdy narzędzie zniknęło, uporczywość i dokładność zniknęły.

„Prawie nie można prosić o jaśniejszą historię” – stwierdził Christian w komentarzach opublikowanych przez UC Berkeley.

„Koszt ludzki” natychmiastowych odpowiedzi

Naukowcy argumentują, że problemem nie jest sama sztuczna inteligencja, ale rodzaj pomocy, z której korzysta. Kiedy system generuje odpowiedzi w ciągu kilku sekund, użytkownicy przyzwyczajają się do tej szybkości i wszystko, co jest wolniejsze, zaczyna wydawać się nieefektywne. Poleganie na tym narzędziu eliminuje również to, co zespół nazywa „produktywną walką” — wymagające zaangażowania, które pomaga ludziom odkryć własne mocne strony i zainteresowania.

„Stworzyliśmy te systemy, aby były pomocne, ale czy są nam pomocne w sposób, który faktycznie nam pomaga?” powiedział Christian. „Jak na ironię pokazaliśmy, że często pomagają nam w sposób, który w pewnym sensie jest nieprzydatny”.

Christian, którego książka „The Alignment Problem” z 2020 r. jest powszechnie uważana za jedną z wiodących dostępnych prac na temat bezpieczeństwa sztucznej inteligencji, stwierdził, że to odkrycie dostarcza dowodów na intuicję wielu osób. „To uderzające odkrycie, ale w pewnym sensie dostarcza amunicji do historii, którą wielu z nas czuje w głębi duszy” – powiedział. – Ja też tego doświadczam.

Dlaczego to ma znaczenie poza ułamkami zwykłymi

Badanie pojawia się w kontekście rosnących obaw związanych z obciążeniem poznawczym w edukacji. Z raportu Berkeleya wynika, że ​​same pionierskie firmy zajmujące się sztuczną inteligencją przyznały, że przekazywanie zadań chatbotom może zmniejszyć podstawowe zrozumienie tematu przez użytkownika. Christian sugeruje możliwe rozwiązanie: odpowiedzi sztucznej inteligencji mogłyby domyślnie być bardziej pouczające – zachowywać się jak nauczyciel, który prowadzi, a nie jak automatyczna sekretarka, która zastępuje.

„Musimy pracować nad przyszłością, w której ludzkie zdolności będą w miarę możliwości zwiększane, a nie zastępowane” – stwierdził.

Jego zainteresowania rozciągają się na badania zawodowe. Christian obawia się, że nadmierne poleganie na narzędziach sztucznej inteligencji w nauce może zniszczyć dokładnie te nawyki, które charakteryzują dobrego naukowca: przebywanie blisko danych, zanurzanie się w materiale i ścisła współpraca z zespołem. Zauważył, że dziesięcioosobowa grupa badawcza, która generuje pomysły stojące za przełomem, może skurczyć się do dwóch lub trzech badaczy i chatbota.

„To nie jest opowieść o ułamkach zwykłych i problemach z egzaminem SAT” – powiedział Christian. „To coś, co dzieje się z ludzką wiedzą i doświadczeniem od góry do dołu, od uczniów szkół podstawowych po czołowych ekspertów na świecie”.

Badanie, które weszło do głównego nurtu

Według UC Berkeley, pierwsze ustalenia odbiły się szerokim echem w WIRED i Psychology Today, kiedy wiosną ukazał się wstępny projekt, a w zeszłym tygodniu dziennik „The New York Times” opublikował artykuł na temat artykułu i podobnych badań. Recenzowana prezentacja w COLM — jednym z głównych ośrodków badań nad modelowaniem języka w tej dziedzinie — nadaje teraz wynikom formalny charakter.

Dla nauczycieli i pracodawców przesłanie jest niewygodne, ale konkretne: nawet krótki kontakt z natychmiastowymi odpowiedziami AI w wymierny sposób zmienia zachowanie ludzi, gdy odpowiedzi nie są już dostępne. W przypadku firm zajmujących się sztuczną inteligencją badanie zwiększa presję na projektowanie systemów, które uczą tak samo często, jak rozwiązują.

Christian ze swojej strony trzyma notatnik na biurku i codziennie w nim pisze. Praktyka ta, powiedział Berkeleyowi, utrzymuje go na ziemi i chroni jego wiedzę naukową przed przytępieniem.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →