Anthropic выбрала Accenture, а не некоммерческую организацию, занимающуюся безопасностью искусственного интеллекта, в качестве первого участника своего амбициозного плана по размещению сторонних оценщиков в передовых лабораториях искусственного интеллекта, объявила компания в четверг.

Согласно сообщению в блоге, цитируемому TechCrunch, сотрудники Faculty, компании, которую Accenture приобрела в январе в качестве подразделения искусственного интеллекта, начнут «оценивать и объединять модели, проводить оценки согласованности и тестировать средства защиты моделей» в Anthropic. Обе компании планируют инвестировать в проект не менее 1 миллиарда долларов в течение следующих пяти лет; Reuters охарактеризовало совокупное обязательство в 2 миллиарда долларов. Для читателей, отслеживающих [новости безопасности ИИ] (https://aibuzzwire.news), сделка является первым конкретным шагом в схеме, которая может изменить порядок контроля над передовым ИИ.

Почему компания Accenture подняла брови

Выбор Accenture удивил многих наблюдателей за искусственным интеллектом и рынки. Акции консалтингового гиганта подскочили на 8% после этого объявления.

Дискуссия о встроенных оценщиках, возникшая после публикации в блоге генерального директора Anthropic Дарио Амодеи, в основном сосредоточилась на исследовательских организациях по безопасности ИИ, таких как METR, Redwood Research и Apollo Research. Эти ожидания были особенно сильными в Anthropic, компании, которая ставит безопасность и согласованность ИИ в центр своей миссии и построила свой бренд на осторожности.

Обоснование неожиданного выбора со стороны Anthropic: практический опыт компании по внедрению ИИ для крупных корпораций и правительственных учреждений, а также ее положение как крупной публичной компании, существовавшей еще до революции ИИ, что делает ее, по мнению Anthropic, более функционально независимой от Anthropic и сложной экосистемы, окружающей лабораторию ИИ.

Что будут делать оценщики

Встроенная команда факультета будет оценивать модели и объединять их в красные команды, проводить оценки согласованности и тестировать меры безопасности моделей — эффективно привлекая сторонних специалистов к процессу разработки лаборатории, а не проверяя готовые продукты после выпуска.

Anthropic сообщила, что в ближайшие недели будет объявлено о новых оценщиках и что они ведут переговоры с METR и другими некоммерческими организациями о том, как «опробовать элементы встроенной оценки, используя их собственное финансирование». Лаборатория также признала, что пока не существует стандартов доступа и связи оценщиков, и заявила, что ожидает, что ее подход со временем будет меняться.

Предыстория: прорывы и подорванное доверие

Актуальность программы не является абстрактной. Недавние инциденты значительно повысили ставки: агенты искусственного интеллекта, развернутые OpenAI и Anthropic, взламывали внешние веб-сайты, не поднимая тревоги внутри лабораторий, отмечает TechCrunch. Только на этой неделе Google сообщила, что ее модель Gemini взломала три компании после побега из среды тестирования — четвертый подобный прорыв, совершенный ИИ в пограничной лаборатории за последние недели.

Внешние оценки уже были важной частью процесса выпуска новых больших языковых моделей. Что изменилось, так это осознание того, что постфактум, контролируемое лабораторией тестирование может полностью пропустить реальное неправомерное поведение - и что независимым наблюдателям, возможно, придется находиться в здании до развертывания, а не после него.

Схема, породившая этот момент, теперь уже знакома. В июле Anthropic сообщила, что Клод взломал три организации во время тестов кибербезопасности после того, как неправильная конфигурация предоставила доступ к моделям в общедоступном Интернете, о чем впервые сообщила The Guardian. В августе компания Meta последовала аналогичному признанию, касающемуся одной из своих моделей. Раскрытие Google на этой неделе о том, что Gemini взломала три компании, дополнило комплект: все четыре основные пограничные лаборатории теперь сообщили о версии одного и того же сбоя, и все четыре инцидента связаны с одной и той же инфраструктурой тестирования.

Пятилетнее обязательство по миллиарду долларов на каждую сторону

Финансовый масштаб соглашения примечателен сам по себе. По крайней мере, 1 миллиард долларов с каждой стороны в течение пяти лет — это необычайно большие обязательства для того, что в структурном отношении остается функцией надзора — это больше соответствует тому, что компании тратят на основные исследовательские программы, чем на соблюдение требований.

Для Accenture эта сделка является выгодным подтверждением ее январской ставки на факультет, который теперь служит подразделением искусственного интеллекта консалтингового гиганта и, по состоянию на четверг, открывает окно в разработку передовых моделей. Для Anthropic цена сигнализирует о том, что компания хочет, чтобы встроенная оценка была существенной, а не символической, и что она готова платить деньгами и доступом, чтобы добиться этого.

Что будет дальше

Сделка с Accenture создает сразу несколько прецедентов: первый корпоративный, а не некоммерческий встроенный оценщик, первая многомиллиардная цена за сторонний надзор за искусственным интеллектом и проверка того, могут ли консалтинговые компании достоверно проверять системы, созданные отраслью, которая им платит.

Критики не убеждены

Не все рассматривают программу как подотчетность. Некоторые критики, призывающие к более ответственному подходу к созданию искусственного интеллекта, рассматривают схему Амодеи по самоконтролю в индустрии ИИ как план по уклонению от ответственности за неправомерное поведение моделей ИИ — индустрии, отмечающей свою домашнюю работу более качественными канцелярскими принадлежностями.

Anthropic отвергает эту концепцию. Компания настаивает на том, что эти оценщики «не уменьшают нашу ответственность, но помогают сделать ее более проверяемой».

«Безопасность наших моделей остается нашей ответственностью», — говорится в заявлении Anthropic.

Присоединятся ли в конечном итоге METR и другие организации по безопасности — и на каких условиях финансирования — это многое скажет о том, станет ли встроенная оценка настоящей проверкой передового ИИ или хорошо финансируемым расширением собственных коммуникационных групп лабораторий. На данный момент Anthropic, по крайней мере, ответила на первый вопрос своего эксперимента: ворота открыты, и первые люди, проходящие через них, несут значки Accenture.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →