OpenAI wycofało trzy z 722 wstępnych wydruków badawczych opublikowanych 6 października w GitHub, jak poinformował Retraction Watch 8 października, po tym, jak błąd w znaku unieważnił główny argument, a wraz z nim dwa wyniki zależne od tej konstrukcji. Wycofanie nastąpiło niecałe 24 godziny po masowym wydaniu, które OpenAI określiło jako próbę „przesunięcia granic ludzkiej wiedzy i umożliwienia dalszego postępu w matematyce”.

Wydruki opisywały rzekomy postęp wewnętrznego modelu sztucznej inteligencji w zakresie 372 nierozwiązanych problemów z geometrii, informatyki, algebry i innych dziedzin. Posunięcie to spotkało się z natychmiastową analizą środowisk badawczych i, jak pisaliśmy na początku tego tygodnia w naszym raporcie na temat [pierwszego wydania 722 rękopisów matematycznych] (https://aibuzzwire.news), firma określiła ten spadek jako bezprecedensową demonstrację tego, co może wytworzyć niewydany jeszcze model graniczny. Śledź najświeższe informacje w naszym najnowszym rozwoju sztucznej inteligencji.

Błąd znaku występuje kaskadą w zależnych dowodach

7 października OpenAI ogłosiło wycofanie trzech rękopisów z powodu błędu w podpisie. Jak wynika z zapowiedzi, błąd unieważnił argument w jednym rękopisie i konstrukcję zastosowaną w dwóch pracach zależnych. Do każdego wycofanego artykułu widnieje teraz informacja wyjaśniająca „lukę”.

Firma podała również, że poprawiła 14 innych rękopisów, dokonując napraw korekcyjnych, poprawionych stwierdzeń, jaśniejszych hipotez i zależności oraz jednej poprawki do przestarzałego cytatu. Dan Roberts, kierownik ds. badań w OpenAI, ogłosił wycofanie X i napisał, że firma „będzie w dalszym ciągu aktualizować repo o nowe formalizacje i wszelkie zauważone przez nas błędy”.

Rzecznik OpenAI powiedział Retraction Watch, że firma zidentyfikowała błędy podczas audytu, opisując proces jako iteracyjny, „tak jak w przypadku innych manuskryptów badawczych”. Rzecznik dodał, że OpenAI z radością przyjmie analizę i „będzie pracować nad niezwłocznym poprawieniem [błędów] i wycofaniem dokumentów, jeśli nie uda się znaleźć żadnych poprawek”.

Warto zauważyć, że rzecznik OpenAI powiedział, że współpracownicy firmy z Grupy Doradczej ds. Matematyki i Sztucznej Inteligencji (AGMAI) zalecili publikację wyników bez czekania na „pełną sformalizowanie” – przy czym około 50% wyników opublikowano jako niepotwierdzone.

Matematycy: szybkie rozwiązania, utracone zaufanie

Reakcje matematyków badawczych były mierzone, ale ostre. Alex Townsend, profesor matematyki na Uniwersytecie Cornell, powiedział Retraction Watch, że błąd pojawiający się kaskadą w trzech rękopisach nie jest zaskoczeniem i podejrzewa, że ​​zostanie znalezionych więcej błędów. „Biorąc pod uwagę sceptycyzm społeczności matematycznej wobec sztucznej inteligencji, uważam, że OpenAI powinno było ogłosić, które manuskrypty zostały najpierw zweryfikowane w oparciu o Lean” – powiedział, odnosząc się do języka programowania typu open source, który mechanicznie sprawdza dowody matematyczne. Argumentował, że w oddzielnym ogłoszeniu można byłoby poprosić społeczność o pomoc w zweryfikowaniu reszty.

Andrew Sutherland, starszy pracownik naukowy na wydziale matematyki MIT, powiedział, że docenia szybkie działanie OpenAI po znalezieniu błędów, nazywając to „odpowiedzialną rzeczą”. Podkreślił jednak, że wielu matematyków pozostaje „niezadowolonych z dotychczasowego zachowania OpenAI”, wskazując w szczególności na ogłoszenie firmy z 8 września, że ​​system sztucznej inteligencji rozwiązał problem Naviera-Stokesa – twierdzenie to zostało skrytykowane przez grupę czołowych badaczy jako pośpieszne, „nie pozostawiające czasu na porządny opis, izolowanie nowych metod i pomysłów oraz cytowanie odpowiednich wcześniejszych prac innych”. Ponad 8 000 badaczy potwierdziło te obawy.

Stowarzyszenie na rzecz Matematyki Człowieka w oświadczeniu opublikowanym 7 października poszło dalej: „Matematycy nie prosili o wykonanie tej pracy. Opublikowanie ponad 700 plików na raz nie jest demonstracją wiedzy, ale demonstracją siły. Wzywamy matematyków, aby zaprzestali pracy z OpenAI i powrócili do wizji nauki, która koncentruje się na ludzkim zrozumieniu”.

Co to oznacza dla nauki generowanej przez sztuczną inteligencję

Odcinek ten staje się wczesnym przypadkiem testowym pokazującym, jak laboratoria AI powinny radzić sobie z badaniami generowanymi maszynowo na dużą skalę. Podejście OpenAI – szybkie wydawanie, publiczny audyt, wycofywanie tego, co się nie powiedzie – kontrastuje z preferowanym przez wielu matematyków podejściem stawiającym na formalną weryfikację, w którym wyniki są sprawdzane przed jakimkolwiek ogłoszeniem za pomocą asystenta sprawdzającego, takiego jak Lean.

Obie strony mają rozsądne argumenty. Oczekiwanie na pełną sformalizowanie może opóźnić przydatne wyniki o miesiące, a OpenAI twierdzi, że zostało wydane za zgodą AGMAI. Jednak efekt kaskadowy – błąd jednego znaku podczas usuwania dwóch zależnych artykułów – ilustruje, dlaczego weryfikacja przed publikacją jest normą w matematyce i dlaczego prawdopodobnie więcej błędów wyjdzie na jaw, gdy społeczność będzie pracować nad pozostałymi około 700 rękopisami.

Na razie OpenAI twierdzi, że chce wyciągnąć wnioski z opinii i w przyszłości będzie postępować zgodnie z protokołem AGMAI „najlepiej, jak potrafi”. Inną kwestią jest, czy to wystarczy, aby odbudować wiarygodność w środowisku matematycznym. Jak to ujął Sutherland: „Myślę, że społeczności matematyczne pozytywnie ocenią wycofania i poprawki, ale potrzeba znacznie więcej, aby odzyskać utracone zaufanie”.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →