Sakana AI opublikowała 10 października MarkTechPost artykuł badawczy „Beyond Imitation” w czasopiśmie Transactions on Machine Learning Research (TMLR) opisujący system wzajemnej oceny wspomagany przez LLM, zbudowany w oparciu o wykrywanie błędów, a nie imitację recenzji ludzkich. Jak poinformował MarkTechPost 10 października. Główne pytanie, na które laboratorium z siedzibą w Tokio postanowiło odpowiedzieć: czy zamiast oceniać recenzenta AI na podstawie tego, jak bardzo jego wyniki odpowiadają recenzjom ludzkim, czy może znaleźć ukryty błąd?

Zespół dostarczył dwa artefakty: test porównawczy sprzeczności do pomiaru wykrywania błędów oraz system przeglądu wielowarstwowego (MLR), który przeprowadził testowanie wszystkich wartości wyjściowych. Wyniki pojawiają się w obliczu rosnącego zainteresowania wykorzystaniem sztucznej inteligencji do wspierania recenzji naukowych – proces ten jest obciążony rosnącą liczbą zgłoszeń. Więcej informacji o tym, jak sztuczna inteligencja zmienia same badania, znajdziesz w naszych najnowszych osiągnięciach w zakresie sztucznej inteligencji.

Punkt odniesienia dla zasadzonych błędów

Test porównawczy sprzeczności umieszcza błędy w prawdziwych artykułach i sprawdza, czy recenzenci je wychwytują. Naukowcy zebrali 257 artykułów na licencji CC z ACL, AISTATS, CVPR i ICML 2025 oraz NeurIPS 2024, a następnie wykorzystali Gemini 2.5 Pro do zbudowania wykresu wiedzy zawierającego twierdzenia, dowody i metody każdego artykułu.

Ważność jest definiowana strukturalnie: odległość węzła od „głównego twierdzenia” artykułu określa, jak centralny jest błąd. Odległość zerowa trafia w podstawowe twierdzenie; większe odległości uderzają w detale wspierające. Następnie GPT-4.1 zapisuje jeden węzeł na odległość w sprzeczność, tworząc w sumie 1164 punkty danych. Sędzia o3 ocenia każdą recenzję dziesięć razy. Na czystych papierach sędzia osiągnął dokładność na poziomie 99,9% i wykazał czułość na poziomie 86,8% w przypadku ręcznie potwierdzonych połowów, co oznacza, że ​​zgłoszone wyniki wykrywalności mogą w rzeczywistości być konserwatywne.

Jak działa recenzja wielowarstwowa

MLR to system agentowy, który rozumie artykuł przed jego krytyczną oceną, złożony z trzech wyspecjalizowanych agentów działających na gotowych modelach Claude — bez klastra GPU i nie wymaga dostrajania:

  • Agent dodatku (Claude Haiku 3.5): podsumowuje eksperymenty i szczegóły implementacji z dodatku.
  • Agent przeglądu literatury (Claude Sonnet 4, opcjonalnie): korzysta z wyszukiwarki internetowej, aby umieścić artykuł w kontekście wcześniejszych prac.
  • Agent recenzyjny (Claude Sonnet 4): uruchamia trzyprzebiegowy łańcuch podpowiedzi zainspirowany dobrze znanym „podejściem trzech przejść” informatyka S. Keshava — najpierw ogólny zarys, następnie szczegółowy odczyt wskazujący słabe strony, założenia i luki, a na koniec połączenie wszystkich wyników agenta w mocne i słabe strony, pytania, rekomendacje, ocenę i listę rzeczy do zrobienia.

Plik PDF jest przekazywany bezpośrednio do modeli, dzięki czemu figury i równania przetrwają przetwarzanie. System odczytuje do 10 stron tekstu głównego, a Sakana szacuje koszt recenzji na około 0,47 dolara.

Wyniki: projekt i wybór modelu mają znaczenie

Firma MLR kierowała wszystkimi czterema systemami testowanymi w benchmarku. Dzięki czterem niezależnym recenzjom wykryto 73,43% sprzeczności w twierdzeniach podstawowych (odległość zerowa) i ogółem 40,95%. Najlepszy poziom bazowy, system o nazwie AgentReview, zarządzał jedynie 14,81% głównych roszczeń. Nawet w pojedynczym przeglądzie MLR wykryto 60,79% błędów w roszczeniach podstawowych.

Badanie ablacji oddziela wpływ projektu od wyboru modelu. Zamiana GPT-4.1 na Claude Sonnet 4 w istniejącym procesie recenzji podniosła wykrywalność roszczeń podstawowych z 14,56% do 35,40%, podczas gdy wieloagentowy projekt MLR dodał około 25 punktów procentowych więcej w przypadku pojedynczej recenzji. Dokładność wykrywania spada w miarę oddalania się błędów od głównego twierdzenia, co zdaniem autorów potwierdza punktację istotności.

Obraz ciemnieje w przypadku bardziej chaotycznych danych ze świata rzeczywistego. W przypadku WithdrarXiv-Check, zestawu 211 faktycznie wycofanych artykułów arXiv, MLR uzyskało 26,07% wyniku w przypadku „podobnych” dopasowań i 16,11% w przypadku dokładnych dopasowań — a system pozostaje podatny na ukryte, natychmiastowe wstrzyknięcia umieszczone w tekście rękopisu. Innymi słowy, czytanie prawdziwych, wycofanych dokumentów jest znacznie trudniejsze niż wychwytywanie syntetycznych sprzeczności.

Co to oznacza dla recenzji wzajemnej

Najbardziej praktyczny wniosek z badania może być najmniej efektowny: zarówno projekt systemu, jak i wybór modelu w istotny sposób wpływają na wykrywanie błędów, a recenzenci, którzy czytają przed oceną, znajdują znacznie poważniejsze błędy niż te, które pasują do wzorca w tekście recenzji ręcznej. To rozróżnienie ma znaczenie, ponieważ większość wcześniejszych prac nad przeglądami wspomaganymi sztuczną inteligencją została zoptymalizowana pod kątem zgodności z ludzkimi ocenami – jest to wskaźnik, który nagradza pewność siebie, a nie autentyczną kontrolę.

Wyniki Sakany nie sugerują, że sztuczna inteligencja jest gotowa zastąpić ludzkich sędziów — system, który pomija większość błędów w autentycznych wycofanych dokumentach i można nim manipulować za pomocą wbudowanych podpowiedzi, najlepiej traktować jako warstwę pomocniczą, a nie autorytet. Syntetyczne błędy wskaźnika referencyjnego są również czystsze niż statystyczne niejasności i sporne interpretacje, które dominują w rzeczywistych sporach w recenzjach, dlatego wyniki oparte na zasadzonych sprzecznościach należy czytać jako pułap, a nie obietnicę.

Jednak przy cenie około 0,47 dolara za recenzję i najwyższym współczynniku wykrywania błędów spośród wszystkich testowanych systemów, MLR wskazuje na niedaleki czas, w którym recenzenci sztucznej inteligencji będą sprawdzali pierwsze przejście pod kątem sprzeczności, podczas gdy recenzenci ludzcy będą skupiać się na ocenach, których maszyny nadal nie będą w stanie dokonać. Czasopisma i organizatorzy konferencji eksperymentujący z recenzowaniem wspomaganym przez LLM mają teraz zarówno publiczny punkt odniesienia, jak i solidną podstawę do pomiaru własnych systemów, a jeśli różnica między 73,43% a 14,81% się utrzyma, będzie to wyraźny sygnał, że czytanie architektury ma większe znaczenie niż rozmiar surowego modelu.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →