В понедельник отчет Anthropic с поправками попал в заголовки финансовых отчетов компании: примерно $17 млрд выручки в третьем квартале против $895,4 млрд обязательств по вычислительным ресурсам. Но среди факторов риска пересмотренного S-1A скрывается раскрытие, которое может оказаться более значимым: компания заявляет, что, возможно, находится на грани пересечения собственного порога рекурсивного самосовершенствования, точки, в которой системы искусственного интеллекта становятся способными ускорять свое собственное развитие.
TechCrunch сообщил, что в документе содержится предупреждение о том, что Anthropic находится на пороге создания модели, способной к рекурсивному самосовершенствованию, широко известной как RSI — этапа, на котором ИИ становится настолько хорош в улучшении ИИ, что прирост возможностей начинает резко увеличиваться. Подробнее об этой истории — в нашем тенденции ИИ.
Что на самом деле говорится в документации
Anthropic уже использует ИИ для ускорения собственных исследований и разработок. В измененном документе компания предупреждает, что эта практика имеет двусторонний характер: «Использование ИИ для создания более мощного ИИ может также представлять значительный риск для безопасности, особенно если он резко ускоряет темпы прогресса. Это одна из областей, охватываемых нашей Политикой ответственного масштабирования, в которой изложены наши планы по мониторингу и снижению рисков по мере того, как мы приближаемся к тому, что было названо «рекурсивным самосовершенствованием».
Новая формулировка факторов риска идет дальше, чем ранее заявляла Anthropic в своих публичных документах. Компания сообщает, что в прошлом ей не удавалось распознать крупные скачки в возможностях по мере их возникновения: «в прошлом мы не выявили и, возможно, не сможем выявить в будущем значительное ускорение темпов нашего развития до тех пор, пока оно не произошло».
Затем следует заявление, привлекающее внимание отрасли. Согласно заявлению: «Наши внутренние оценки и наши ожидания в отношении будущих моделей, а не наших текущих моделей, указывают на то, что мы можем в ближайшее время соответствовать определению нашей Политики ответственного масштабирования, которое означает «резко ускоренный прогресс, связанный с искусственным интеллектом».
Anthropic добавляет, что «не определила ни одну из наших текущих моделей как превышающую этот порог» и продолжает оценивать основные данные. Другими словами: ни одна текущая модель Claude не соответствует требованиям, но внутренние прогнозы компании предполагают, что ее следующее поколение может.
Держим людей в курсе
Помимо предупреждения, Anthropic обязуется держать людей под контролем над разработкой моделей. «Мы не ожидаем, что сможем безопасно использовать Claude для полностью автономного проектирования и создания последующих поколений передовых моделей без значимого человеческого контроля или понимания, если и когда это станет технически возможным», — говорится в заявке. «Соответственно, мы рассматриваем возможность обновления нашей Политики ответственного масштабирования, чтобы люди могли контролировать разработку передовых моделей в Anthropic».
Масштаб роли искусственного интеллекта в собственных исследованиях Anthropic быстро растет. Business Insider сообщил, что ИИ теперь возглавляет примерно четверть внутренних исследований и разработок Anthropic по сравнению с 1 процентом в марте — диаграмма, которую инсайдеры отрасли назвали одной из самых важных в области ИИ.
Сдвиг дискурса: от модного слова к балансовому отчету
Когда в начале этого года термин RSI стал популярным, многие в отрасли отвергли его как модное словечко или, в лучшем случае, как цель, слишком плохо определенную, чтобы ее можно было достичь, доказать или регулировать. Этот скептицизм труднее поддерживать сейчас, когда эта концепция с точным внутренним определением появилась в документе, который компания по закону обязана подать в SEC перед продажей акций населению.
Не только компания Anthropic рассматривает самосовершенствование как предпосылку планирования на ближайшую перспективу. Соучредитель Google Сергей Брин охарактеризовал отрасль как стремящуюся к «беговой дорожке RSI», в которой модели помогают создавать своих преемников, а бывший соучредитель OpenAI Джон Шульман заявил, что ожидает рекурсивного самосовершенствования примерно в течение трех-четырех лет. Что отличает раскрытие информации Anthropic, так это ее формальность: определенный порог, внутренний процесс измерения и публичное заявление о том, когда компания планирует его пересечь.
Почему RSI — это трипваер, на который смотрят оба лагеря
RSI имеет разные значения в зависимости от того, кто его описывает. Для исследователей безопасности ИИ это представляет собой точку невозврата — сценарий, в котором системы ИИ совершенствуются быстрее, чем люди могут понять, проверить или вмешаться, потенциально выходя за рамки человеческого контроля. Для оптимистов в области ИИ призом является та же самая динамика: системы, которые надежно совершенствуются, принесут исключительную производительность и научные открытия.
Формулировка Anthropic признает обе возможности. Раскрытие информации содержится в документе, основной аудиторией которого являются инвесторы, и скептики отмечают, что S-1 выполняет одновременно функцию раскрытия информации и маркетинга — утверждение о том, что компания близка к созданию самосовершенствующегося ИИ, может быть так же легко воспринято как аргумент в пользу его оценки.
Однако у этого утверждения есть конкретное обоснование. Возможности Клода в области кодирования, математики и кибербезопасности резко расширились к 2026 году, а собственная политика ответственного масштабирования Anthropic определяет стандарт «резко ускоренного прогресса, связанного с искусственным интеллектом», который, по словам компании, может скоро ему соответствовать.
Тест на управление ИИ
Раскрытие информации произошло на фоне активизирующихся политических дебатов по поводу надзора за передовыми технологиями в области искусственного интеллекта, начиная с структуры Белого дома по пересмотру передовых моделей и заканчивая международными дискуссиями по управлению компьютерными технологиями. Если ведущая лаборатория искусственного интеллекта официально определит модель как соответствующую ее собственному порогу ускоренного прогресса, это повлечет за собой обязательства в соответствии с Политикой ответственного масштабирования Anthropic — и станет первым реальным испытанием того, могут ли такие отраслевые структуры замедлять или формировать гонку возможностей на практике.
На данный момент Anthropic утверждает, что ни одна модель не перешла черту. В документах говорится, что компания ожидает, что эта черта будет пересечена в ближайшее время, и просит инвесторов заранее понять, что она планирует с этим делать.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
