Соучредитель Anthropic говорит, что правительствам, возможно, придется заставить компании, занимающиеся искусственным интеллектом, установить «выключатель» — механизм полного отключения систем искусственного интеллекта — и что сторонние инспекторы должны иметь возможность убедиться, что он действительно работает.

Джек Кларк, один из семи основателей лаборатории искусственного интеллекта стоимостью 965 миллиардов долларов, рассказал BBC, что, хотя у большинства ведущих лабораторий уже есть внутренние способы «отключить» опасные системы, общество «возможно, захочет со временем принять правила», сделав такие переключения обязательными и поддающимися независимой проверке. Для читателей, следящих за более широкими дебатами о безопасности искусственного интеллекта, его выступление знаменует собой наиболее конкретное политическое предложение, сделанное внутри пограничной лаборатории за неделю эскалации предупреждений.

«Должны ли вы обязать компании обязательно иметь аварийный выключатель? Можно ли проверить этот аварийный выключатель третьей стороной?» Об этом Кларк сказал в интервью технологическому репортёру Кали Хейс и редактору по экономике Фейсалу Исламу. «Я думаю, что это то, что общество захочет знать и, возможно, в конечном итоге захочет принять правила».

«Мы бросаем кости с огромными рисками»

Самым ярким комментарием Кларка было полное неприятие статус-кво. Отвечая на вопрос о траектории развития отрасли, он сказал, что позволять искусственному интеллекту продолжать оставаться «совершенно нерегулируемой отраслью» — плохая идея.

«Мы играем в кости с огромными рисками», - сказал он. «И дело в том, что мы должны изменить курс этой отрасли».

В отличие от некоторых своих коллег, Кларк отказался назвать цифру риска исчезновения человечества. «Я не думаю, что эти статистические данные настолько полезны», — сказал он, что заметно контрастирует с исследователем антропологии Эваном Хубингером, который заявил на прошлой неделе, что лично считает, что вероятность вымирания человечества из-за ИИ в течение следующего десятилетия составляет более 10%, и с пионером ИИ Джеффри Хинтоном, который сказал BBC в пятницу, что оценка в 10% «не является необоснованной».

Что Кларк не оспаривал, так это направление движения. ИИ, как он выразился в том же интервью, «становится все более могущественным с каждым днем» — и он утверждал, что специфика любого требования о закрытии, включая то, кто будет его проверять и как, принадлежит к «более широкому политическому разговору», который сейчас происходит вокруг ИИ.

Предложение, имеющее законодательный импульс

Предложение Кларка возникло не в вакууме. Американские законодатели уже выдвинули закон, получивший название «Акт об аварийном выключателе», который потребует от передовых разработчиков ИИ встроить в свои системы механизмы отключения — законопроект AI Buzz Wire обсуждался в прошлом месяце, поскольку его актуальность возросла после инцидентов с мошенническими агентами.

Эта идея также сталкивается с открытым скептицизмом. В Великобритании министр бизнеса Джонатан Рейнольдс заявил Би-би-си, что не считает эту концепцию полезной, заявив, что он «не совсем уверен, что это будет означать на практике», и предупредил, что чрезмерное регулирование может привести к тому, что страна будет отрезана от моделей, разработанных за рубежом.

Предыстория: Гражданская война за безопасность и IPO

Комментарии Кларка завершают неделю, в течение которой безопасность ИИ перешла из темы семинара в главную новость. Генеральный директор Anthropic Дарио Амодей на выходных призвал замедлить темпы передового развития и более внимательно следить за ним, одновременно настаивая на том, что любая пауза должна происходить «без ущерба для коммерческих преимуществ». Затем он рассказал об этом деле основной американской аудитории в интервью Андерсону Куперу из CNN, а сам Коксон появился в сети, чтобы отреагировать на это. Эти замечания последовали за вирусным сообщением об отставке бывшего исследователя антропологии Джейкоба Коксона, предупреждающего о судьбе человечества, что, в свою очередь, побудило Хубингера сделать оценку вымирания. The Guardian, со своей стороны, исследовала, почему именно это предупреждение о конце света прорвалось там, где исчезли предыдущие.

Тревоги были встречены открытыми насмешками со стороны некоторых представителей технологической индустрии. Генеральный директор Hugging Face Клемент Деланг высмеял решение сделать Коксона рупором риска вымирания, написав: «Извините, но спрашивать Джейкоба о риске вымирания ИИ — это все равно, что спрашивать вашего парня из AC об изменении климата». Генеральный директор Grindr Джордж Арисон пошел еще дальше, заявив, что разжигание паники имеет коммерческие мотивы. «Единственный способ оправдать эти оценки — это фактически заявить: «Я возьму на себя управление каждой отраслью и каждой работой, и мой ИИ будет выполнять всю эту работу», — сказал он.

От исхода этих дебатов также зависит огромная сумма денег. Anthropic готовится к первичному публичному размещению акций с оценкой в ​​965 миллиардов долларов, в то время как OpenAI, последняя оценка которой оценивалась в 852 миллиарда долларов, должна была стать публичной, прежде чем генеральный директор Сэм Альтман заявил в пятницу, что IPO не состоится в этом году из-за разногласий по поводу безопасности. Критики, такие как Арисон, утверждают, что риторика обреченности и кампания по сбору средств — это две стороны одной медали; Ответ Кларка заключается в том, что отрасль в любом случае должна изменить курс.

Станет ли когда-либо обязательный и поддающийся проверке аварийный выключатель законом, будет зависеть от законодателей, которые до сих пор не проявили особого желания ограничивать отрасль, которая питает экономику США. Но впервые один из самых влиятельных инсайдеров технологии открыто приглашает их попробовать.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →