OpenAI отозвала три из 722 исследовательских препринтов, опубликованных на GitHub 6 октября, как сообщила Retraction Watch 8 октября, после того, как ошибка в знаке лишила законной силы основной аргумент, а вместе с ним и два результата, которые зависели от этой конструкции. Отзыв произошел менее чем через 24 часа после массового выпуска, который OpenAI назвал попыткой «раздвинуть границы человеческих знаний и обеспечить дальнейший прогресс в математике».
В препринтах описывался предполагаемый прогресс внутренней модели искусственного интеллекта по 372 нерешенным задачам в геометрии, информатике, алгебре и других областях. Этот шаг сразу же привлек внимание исследовательских сообществ — и, как мы писали ранее на этой неделе в нашем отчете о [начальном выпуске 722 математических рукописей] (https://aibuzzwire.news), компания представила это падение как беспрецедентную демонстрацию того, на что способна ее неизданная модель Frontier. Следите за последними событиями в нашей статье последние разработки в области искусственного интеллекта.
Ошибка знака каскадируется через зависимые доказательства
7 октября OpenAI объявила об отзыве трёх рукописей из-за ошибки в знаках. Согласно объявлению, ошибка лишила законной силы аргумент в одной рукописи и конструкцию, использованную в двух зависимых статьях. На каждом отозванном документе теперь имеется уведомление, объясняющее «пробел».
Компания также сообщила, что пересмотрела еще 14 рукописей, исправив корректуры, исправив утверждения, более четкие гипотезы и зависимости, а также одно исправление устаревшей цитаты. Дэн Робертс, руководитель исследований в OpenAI, объявил об отзыве X и написал, что компания «продолжит обновлять репо новыми формализациями и любыми ошибками, которые мы заметим».
Представитель OpenAI сообщил Retraction Watch, что компания выявила ошибки во время аудита, назвав процесс итеративным, «как и в случае с другими исследовательскими рукописями». Представитель добавил, что OpenAI приветствует проверку и «будет работать над тем, чтобы оперативно исправить [ошибки] и отозвать документы, если исправления не будут найдены».
Примечательно, что представитель OpenAI заявил, что сотрудники компании из Консультативной группы по математике и искусственному интеллекту (AGMAI) рекомендовали опубликовать результаты, не дожидаясь «полной формализации» — и что примерно 50% результатов были опубликованы неподтвержденными.
Математики: быстрые решения, потеря доверия
Реакция математиков-исследователей была взвешенной, но явной. Алекс Таунсенд, доцент кафедры математики Корнелльского университета, рассказал Retraction Watch, что ошибка, распространившаяся на три рукописи, не является неожиданностью и что он подозревает, что будут найдены и другие ошибки. «Учитывая скептицизм в отношении ИИ в математическом сообществе, я думаю, что OpenAI следовало бы в первую очередь объявить о рукописях, прошедших бережливую проверку», — сказал он, имея в виду язык программирования с открытым исходным кодом, который механически проверяет математические доказательства. По его мнению, тогда в отдельном объявлении можно было бы привлечь сообщество к помощи в проверке остального.
Эндрю Сазерленд, старший научный сотрудник математического факультета Массачусетского технологического института, сказал, что он ценит быстроту действий OpenAI после обнаружения ошибок, назвав это «ответственным поступком». Но он подчеркнул, что многие математики по-прежнему «недовольны тем, как OpenAI вела себя до этого момента», указав, в частности, на заявление компании от 8 сентября о том, что система ИИ решила проблему Навье-Стокса — утверждение, которое группа ведущих исследователей раскритиковала как поспешное, «не оставляющее времени для правильного описания, выделения новых методов и идей и цитирование соответствующих предыдущих работ других». Более 8000 исследователей поддержали эти опасения.
Ассоциация человеческой математики пошла еще дальше в заявлении, опубликованном 7 октября: «Математики не просили о проведении этой работы. Публикация более 700 файлов одновременно — это не демонстрация научных знаний, а демонстрация силы. Мы призываем математиков прекратить свою работу с OpenAI и вернуться к видению науки, которое центрирует человеческое понимание».
Что это значит для науки, созданной искусственным интеллектом
Этот эпизод станет первым тестом того, как лаборатории искусственного интеллекта должны проводить масштабные машинные исследования. Подход OpenAI — быстрый выпуск, публичный аудит, изъятие того, что не удалось — контрастирует с подходом, основанным на формальной проверке, который предпочитают многие математики, при котором результаты проверяются с помощью помощника по доказательству, такого как Lean, перед каким-либо объявлением.
У обеих сторон есть разумные аргументы. Ожидание полной формализации может отложить получение полезных результатов на месяцы, и OpenAI заявляет, что она выпущена с благословения AGMAI. Но каскадный эффект — одна ошибка в знаке уничтожает две зависимые статьи — иллюстрирует, почему проверка перед публикацией была нормой в математике и почему по мере того, как сообщество работает над оставшимися примерно 700 рукописями, вероятно, всплывет больше ошибок.
На данный момент OpenAI заявляет, что хочет извлечь уроки из обратной связи и в будущем будет следовать протоколу AGMAI «насколько это возможно». Достаточно ли этого, чтобы восстановить доверие математического сообщества – другой вопрос. Как выразился Сазерленд: «Я думаю, что изъятия и исправления будут восприняты математическим сообществом положительно, но потребуется гораздо больше, чтобы вернуть утраченное доверие».
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
