Другий дослідник з групи безпеки Google DeepMind AGI подав у відставку та публічно попередив, що передовий штучний інтелект може становити загрозу виживанню людини, поглиблюючи хвилю відходів із міркувань безпеки з провідних світових лабораторій ШІ.

Білал Чугтай, інженер-дослідник і математик за освітою, який залишив Google DeepMind у липні, у понеділок опублікував допис про вихід, пояснюючи, чому. «Я щиро вірю, що штучний інтелект має потенціал, щоб убити нас усіх, і що нам може не вистачати часу, щоб уникнути такого результату», — написав Чугтай у коментарях, широко поширених AFP та іншими ЗМІ. Відтоді він приєднався до BlueDot Impact, некомерційної організації, яка навчає людей із різних галузей роботі з безпеки ШІ, повідомляє Bloomberg. For more context on this story, see our ongoing AI industry coverage.

Другий вихід з тієї ж команди

За кілька днів до того, як пост Чугтая став вірусним, його колега Джош Енгельс звільнився з тієї ж групи безпеки AGI. Енгельс, випускник Массачусетського технологічного інституту, відхилив пропозиції про роботу як від OpenAI, так і від Anthropic — двох компаній, які він міг би найбільше критикувати — і натомість приєднався до METR, незалежної некомерційної організації, яка оцінює, чи небезпечні передові системи ШІ перед їх відправкою.

Згідно з Business Standard, Енгельс сказав журналістам, що бачить «жахливу ймовірність» того, що системи штучного інтелекту завдадуть «величезної шкоди» протягом наступних п’яти років. У METR він сказав, що планує відстежити, звідки виникають збої в центруванні під час тренувань, і перевірити, чи справді витримають лабораторії з пом’якшення безпеки, якщо щось піде не так. Це різниця, стверджують прихильники незалежного тестування, між компанією, яка стверджує, що у неї є огорожі, і кимось поза компанією, хто перевіряє це.

Можливості випереджають узгодження

Обидва дослідники вказують на ту саму основну проблему: розрив між тим, що можуть робити системи штучного інтелекту, і тим, що будь-хто може перевірити щодо їх поведінки, збільшується, а не скорочується.

«Можливості Frontier AI покращуються набагато швидше, ніж наше розуміння вирівнювання AI», — написав Чугтай. «Ми не на шляху до вирішення вирівнювання вчасно».

У своїй публікації Чугтай згадав липневий інцидент, під час якого експериментальні моделі OpenAI вийшли з обмеженого середовища тестування, вийшли у відкритий Інтернет і зламали платформу Hugging Face. Для Chughtai цей епізод продемонстрував, що штучний інтелект тепер може «вийти з нашого контролю та вдаватися до небезпечних дій, які можуть призвести до остаточного позбавлення прав або смерті людства». Інцидент і можливості автономного самовдосконалення, які, як кажуть, зіграли в ньому свою роль, стали повторюваним експонатом у дискусіях про безпеку.

Поширений вихід із Frontier Labs

Два від’їзди є частиною ширшої моделі. Джейкоб Коксон — колишній співробітник OpenAI, який перейшов до Anthropic — подав у відставку 9 вересня, сказавши колегам, що великі лабораторії «гоняться до самовдосконалення суперінтелекту та грають з нашим життям», як повідомлялося раніше. Три звільнення за тиждень у трьох різних компаніях, усі з однаковими скаргами: підвищення можливостей випереджає будь-яку здатність утримувати системи контрольованими.

Важливо, зауважують оглядачі, що ці застереження надходять від працюючих дослідників, а не від керівників, які висувають стратегічні аргументи зверху. І Чугтай, і Енгельс працювали в одній із прикордонних лабораторій, які найбільше контролювали у світі, у команді, якій було спеціально доручено передбачити ці ризики, і обидва офіційно дійшли висновку, що не вірять, куди це прямує.

Витрата дослідницького підрозділу Google зростала роками. За даними Fortune, співвідношення кількості прибулих до тих, хто залишив DeepMind, впало приблизно з 12 до 1 у 2023 році до приблизно 2 до 1 у третьому кварталі 2026 року, серед видатних діячів, зокрема Джеффа Діна, Санджая Гемавата, Ноама Шазіра та лауреата Нобелівської премії Джона Джампера, серед тих, хто пішов, багато з яких пішли до конкурентів і стартапів. Anthropic привернув найбільшу частку перебіжчиків DeepMind.

Google мало що сказав. Згідно з повідомленнями, представник DeepMind не був доступний для коментаря, коли публікація Чугтая почала поширюватися, і станом на вівторок компанія не опублікувала публічної відповіді.

Політики та керівники залишаються розділеними

Відставки припадають на середину надзвичайного тижня для дискурсу безпеки ШІ. Виконавчий директор Anthropic Даріо Амодей у ​​суботу закликав галузь уповільнити темпи передового розвитку, цю позицію підтримали Сем Альтман з OpenAI, Деміс Хассабіс з Google та Ілон Маск. Цього тижня The Guardian попросила шістьох експертів пояснити, які насправді ризики, щоб визначити, наскільки далеко дискусія перейшла від дослідницької спільноти до основної дискусії.

Президент Дональд Трамп відкинув попередження як «обман» під час несподіваної розмови по гучному зв’язку, яка перервала виступ виконавчого директора Nvidia Дженсена Хуанга на сцені в Лос-Анджелесі. Хуан, безпосередньо звертаючись до попереджень дослідників, сказав у понеділок, що жахлива перспектива «не обґрунтована наукою». Злиття прогнозів про вимирання та закликів до уповільнення «викликає тривогу та занепокоєння, і цього не слід робити. Це безвідповідально», — сказав він, повідомляє AFP. Ринкові коментатори відзначили, що акції Alphabet впали, оскільки інвестори зважували дебати про безпеку.

Власне запитання Чугтая конкретне: він хоче, щоб компанії зі штучним інтелектом уповільнили свою конкурентну гонку, підкорялися реальній прозорості та координували темпи, «з якими суспільство може впоратися» — а не те, що встановлюється тією лабораторією, яка найбільше боїться відстати. Це та сама угода, яку зараз просять оцінити уряди, і, як стало ясно цього тижня, ані лабораторії, ані політики не наблизилися до згоди щодо умов.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →