Anthropic начала предоставлять команде METR, некоммерческой организации, которая оценивает передовые модели искусственного интеллекта, «доступ на уровне сотрудников» к своим внутренним системам — оборудованию компании, офисным помещениям и инструментам, примерно на том же уровне, что и ее собственные команды по оценке рисков — чтобы внешняя группа могла независимо оценить риски передовых моделей Anthropic и опубликовать результаты своих исследований.
Соглашение, о котором было объявлено в блоге Anthropic в среду, выходит за рамки отношений в стиле аудита, которые обычно терпят компании, занимающиеся искусственным интеллектом, и включает в себя особое положение: METR будет публиковать результаты своих оценок рисков, а Anthropic не может наложить вето на публикацию.
Что на самом деле означает «доступ на уровне сотрудников»
Шесть сотрудников METR получили оборудование компании, офисные помещения и доступ к внутренним инструментам и системам, которые, по словам Anthropic, примерно соответствуют тому, что получают ее собственные группы по оценке рисков. Помимо небольшого количества четко определенных категорий — данных о клиентах, конфиденциальной информации адвоката и клиента и информации о модельной архитектуре — Anthropic заявляет, что ее сотрудникам рекомендуется делиться информацией с командой METR так же, как они это делали бы с коллегой, работающим над рисками согласования.
Вовлеченность намеренно узкая. Он охватывает небольшую команду, действующую в соответствии с обязательными соглашениями, а другие сотрудники METR отстранены от работы этой команды, включая исследователей, которые сотрудничают с Anthropic в других проектах. Anthropic отмечает, что эта установка дает нескольким квалифицированным людям, работающим в соответствии со стандартами безопасности Anthropic, полное представление о том, как работает компания; это не канал, по которому другие организации могут получить информацию Anthropic или ее клиентов.
Права на публикацию, с ограждениями
В соответствии с соглашением METR опубликует свой анализ уровней риска, инцидентов или практики Anthropic. Anthropic не может заблокировать публикацию, но может потребовать редактирования, когда информация попадает в заранее определенные категории, описанные выше, — и Anthropic сама решает, что попадает, а что не попадает в эти категории. METR, со своей стороны, оставляет за собой право делать определенные заявления об уровне доступа и полученной информации, что является противовесом, предназначенным для того, чтобы право редактирования не превратилось в кнопку отключения звука.
Почему Anthropic открывается
Этот шаг последовал за взятым в прошлом месяце обязательством Anthropic проводить более строгую независимую оценку своих моделей и методов обеспечения безопасности третьей стороной, а также за подписанием соглашения Белого дома о суперинтеллекте, в котором компании, занимающиеся искусственным интеллектом, обязались сотрудничать с независимыми внешними аудиторами или оценщиками. Это также расширяет существующие отношения: за последний год Anthropic работала с METR над несколькими проверками своих отчетов о рисках.
METR не единственный в своем портфолио. Anthropic заявляет, что она также работает с SecureBio и Accenture в качестве оценщиков (в сентябре факультет Accenture был назван первым встроенным оценщиком компании) и ведет первые переговоры с несколькими другими организациями, включая Hugging Face. Эти партнерства на ранних стадиях имеют более ограниченный доступ к информации и права на публикации, в то время как компания изучает, какие виды партнерства работают.
Аналогия с банковским надзором
Собственная структура Anthropic заимствована из финансов. Банки знают больше о своих позициях по рискам, чем посторонние, поэтому регулирующие органы поручают резидентам-экспертам работать внутри крупнейших банков; если принятие банком риска может угрожать обществу, третьи стороны стараются предвидеть это заранее. Компания позиционирует встроенную оценку как версию этой логики в отрасли искусственного интеллекта — шаг к надежному надзору за безопасностью в области, где строитель всегда знает больше, чем сторожевой пес.
В основе всего этого лежит заявленная цель: сократить разрыв между тем, что независимые оценщики понимают в системах передовой компании, занимающейся искусственным интеллектом, и тем, что понимает сама компания.
Что нужно оценщикам
В объявлении также изложено, что, по мнению Anthropic, требуется для значимой оценки: опыт в оценке возможностей передовых моделей, включая понимание того, как оценки могут пойти не так из-за таких явлений, как фальсификация выравнивания; независимость, что означает отсутствие акционерного капитала, финансовой или операционной зависимости от оцениваемой компании; достаточный доступ для осмысленной оценки рисков, выходя за рамки новейших моделей и заканчивая тем, как они обучались и как функционируют защитные меры; и свобода публиковать наблюдения и оценки модели или процесса.
Тестовый пример для всей отрасли
О композиции будут судить по ее результату. Первая опубликованная оценка METR в рамках нового режима доступа покажет, дает ли доступ, подобный сотрудникам, достоверные результаты или отчеты, ограниченные категориями редактирования, которые определяет сама компания. Скептики заметят, что Anthropic контролирует границы категорий и что пилотная команда невелика; Сторонники заметят, что право на публикацию, которое Anthropic не может наложить вето, является действительно новым среди приграничных лабораторий.
В любом случае, индустрия наблюдает. Если встроенный доступ METR выявляет существенные результаты и публикует их в неизменном виде, модель становится очевидным шаблоном для каждой лаборатории, подписавшей соглашение Белого дома, и ориентиром для политиков, взвешивающих, может ли добровольный надзор заменить обязательные аудиты. Чтобы постоянно освещать политику безопасности ИИ и новости отрасли ИИ, которые ее формируют, AI Buzz Wire следит за каждым событием по мере его появления.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
