Когда вы разговариваете с другом лично, вы можете увидеть его, услышать, пожать ему руку. Когда вы разговариваете с моделью ИИ, у вас почти нет такой уверенности. Новое исследование Anthropic направлено именно на этот пробел: компания опубликовала результаты работы над криптографическими доказательствами умозаключений, включая систему под названием FlashProve, которая может доказать — математически, а не договорно — что ответ действительно исходит от той модели, которой она себя называет.

Проблема, которую решает FlashProve, носит чисто структурный характер. Пользователь, запрашивающий модель сегодня, не может проверить, что ответы пришли от конкретной модели, на которую, по утверждению разработчика, отвечает, а не от модели, тайно замененной службой маршрутизации из соображений экономии или даже злоумышленником, который подделал поток токенов. Судя по одним только выводам, это ненадежно, даже если ответы выглядят превосходно. В отрасли, где одно и то же окно чата может автоматически перенаправляться на более дешевую модель под нагрузкой, это не гипотетическая проблема — это модель доверия по умолчанию. Более подробную информацию о подобной работе можно найти в наших [новостях исследований искусственного интеллекта] (https://aibuzzwire.news).

Почему доказуемый вывод сложен

Цель доказуемого вывода — позволить пользователю с ограниченными вычислительными ресурсами — и без доступа к частным весам модели — проверить, что данный ответ действительно был получен этой моделью. Очевидный подход, заключающийся в повторном запуске модели, является неудачным: веса пограничных моделей остаются конфиденциальными, и проверка ответа по ним потребует вычислений, намного превышающих те, которые может себе позволить типичный пользователь или даже хорошо финансируемый оценщик.

Подход Anthropic опирается на zkSNARK — семейство доказательств с нулевым разглашением, обладающих сильными свойствами сокрытия и эффективности, которые делают их уникальными для решения этой задачи. Поставщик фиксирует модель один раз, затем для каждого ответа генерирует компактное доказательство того, что ответ был вычислен с помощью зафиксированной модели, при этом сами доказательства скрывают веса модели. Сокрытие архитектуры не является целью системы; скрытие весов.

Числа

Показатели эффективности в статье являются технической сутью этой истории, поскольку генерация доказательств для больших моделей исторически была на порядки слишком медленной, чтобы иметь значение. Для Llama 4 Maverick, смешанной модели экспертов с 400 миллиардами параметров, один графический процессор NVIDIA H100 генерирует доказательства со скоростью около 110 токенов в секунду, с размером доказательства примерно 19 МБ на запрос из 1024 токенов, используя 4-битные квантованные веса и целочисленную арифметику в предварительном заполнении.

За эту скорость приходится платить: генерация доказательства занимает примерно в 70–95 раз больше времени на графическом процессоре, чем простой запуск самой модели в vLLM, широко используемой библиотеке вывода с открытым исходным кодом. Другими словами, дорого — но впервые того же порядка величины, что и доказываемая вещь, и, по мнению Anthropic, существенно быстрее, чем предшествующие системы с открытым исходным кодом, которые отстают на порядки.

Клод построил это — и бережливое производство проверяет претензии

Внутри первой спрятана вторая история. Согласно сообщению, Клод сам внес улучшения в zkSNARK для вывода, найдя новые способы применения самых современных инструментов из литературы по криптографии и безопасности, полагаясь при этом на устоявшиеся принципы проектирования систем криптографического доказательства.

Anthropic откровенно говорит о рисках, связанных с этим рабочим процессом: Клод хорош в оптимизации, но часто принимает решения, которые трудно оценить, особенно в больших сложных системах. Противодействием является формальная проверка. Компания предоставляет проверяемые отчеты высшего уровня на Lean, формальном языке проверки, для заявленных гарантий безопасности — математические вычисления, проверенные компьютером, которые стоят между умными оптимизациями ИИ и пользователями, которые должны им доверять.

Полный стек выпускается под лицензией Apache 2.0: сообщение в блоге, технический отчет, объясняющий детали системы, описание протокола, исполняемый код, включая средство проверки и два средства проверки — быстрое средство проверки на C++ и доказуемо правильное средство проверки в Lean — плюс сами доказательства Lean и интерактивный визуализатор для облегчения аудита.

От соблюдения требований к соглашениям о стимулировании искусственного интеллекта

В антропных зарисовках используются самые разнообразные случаи — от рутинных до геополитических. Независимые оценщики, которые тестируют модели ИИ до и после выпуска, должны знать, что модель, которую они оценивают, является обслуживаемой моделью. Клиенты, которые получают доступ к модели через стороннюю службу маршрутизации, хотят быть уверены, что токены поступили из модели, за которую они заплатили. А в сценарии безопасности киберзлоумышленник, который модифицирует поток токенов, выдавая себя за заданную модель, становится обнаруживаемым таким образом, что никогда не может быть достигнута только проверка выходных данных.

Самым амбициозным применением, упомянутым в сообщении, является проверка соответствия требованиям к темпам развития ИИ — новый класс соглашений, добровольных и правительственных, которые пытаются регулировать скорость развития передовых возможностей. Сегодня такие обязательства основываются на доверии и оформлении документов. Криптографические доказательства вывода предлагают нечто близкое к проверке: способ продемонстрировать, а не утверждать, какая модель обслуживает данную рабочую нагрузку.

Исследователи ясно заявляют, что это промежуточный прогресс, а не завершенная программа исследований, и они публикуют свои работы с заявленной целью, чтобы другие взяли на себя работу и улучшили ее. Эта формулировка сама по себе является сигналом: доказуемый вывод перешел от мысленного эксперимента, проводимого на семинарах по криптографии, к инженерной задаче, которую передовая лаборатория теперь открыто пытается сделать достаточно дешевой для внедрения.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →