Нинішні та колишні дослідники OpenAI і Google DeepMind попередили у вівторок, що компанії, в яких вони працюють або працювали раніше, небезпечно швидко рухаються до самовдосконалюючих систем штучного інтелекту, які можуть випередити здатність людства контролювати їх.
Попередження прозвучали в серії відеовідгуків, зібраних некомерційною організацією з безпеки штучного інтелекту Palisade Research і наданих виключно Reuters. У записах інсайдери двох найвідоміших у світі лабораторій штучного інтелекту описують індустрію, яка винагороджує людей, які створюють нові моделі, набагато щедріше, ніж людей, які висловлюють занепокоєння щодо їх безпеки. For more context on this story, see our ongoing more AI stories.
«Лабораторії Frontier змагаються одна з одною, ніби із зав’язаними очима», — сказав Хуан Феліпе Серон Урібе, інженер-дослідник з вирівнювання ШІ в OpenAI, в одному з відео. «Залишається здогадуватися, чи закінчимо ми або вилікувати рак, або втратимо всі роботи, або, можливо, всі помремо».
Що насправді сказали дослідники
Відгуки примітні тим, що вони надходять від людей, які все ще працюють у лабораторіях, а не лише від зовнішніх критиків. Ніл Нанда, науковий співробітник Google DeepMind, сказав у своєму відео, що, на його думку, існує принаймні 10-відсоткова ймовірність того, що штучний інтелект може призвести до вимирання людства — ймовірність, яку він назвав «смішно високою» для технології, яку індустрія поспішає розгорнути.
Учасники проекту сказали Reuters, що вони щиро вірять у ризики, які вони описують. Деякі також вказали на внутрішню проблему стимулів: у лабораторіях штучного інтелекту співробітники, які постачають нові моделі, як правило, заробляють більше визнання, просування по службі та вплив, ніж ті, хто закликає бути обережними.
Інсайдери відмовляються від «проблеми координації»
Одну з найгостріших критиків висловив Джеффрі Ірвінг, співзасновник і головний науковий співробітник некомерційної організації Resolution, який працював як в OpenAI, так і в DeepMind. Він стверджував, що компанії штучного інтелекту ховаються за твердженням про те, що безпека вимагає координації в усій галузі, хоча насправді будь-яка з них може діяти поодинці.
«Якщо ви робите дуже небезпечну річ, вам слід просто сповільнитися», — сказав Ірвінг Reuters. «Компанії, які займаються штучним інтелектом, перебільшують міру, в якій це проблема чистої координації. Вони можуть просто зупинитися в односторонньому порядку».
Розі Кемпбелл, яка працювала дослідником політики в OpenAI до відходу в 2024 році, а зараз працює керуючим директором Eleos AI Research, сказала, що під час її перебування на посаді організація дедалі більше відокремлювалася. Ця фрагментація, за її словами, ускладнила вплив працівників, які піклуються про безпеку, на напрямок розвитку технології.
Даніель Кокотайло, колишній дослідник управління OpenAI, який зараз очолює проект майбутнього штучного інтелекту, передав Reuters те, що він описав як ставлення вищого керівництва лабораторії: пауза лише передасть перевагу менш скрупульозним учасникам, форма самовиправдання, яку він вважає дуже проблематичною.
Чому «рекурсивне самовдосконалення» лякає людей, які його будують
У центрі цих попереджень лежить концепція рекурсивного самовдосконалення — ідея про те, що системи штучного інтелекту можуть зрештою вдосконалюватися самі, отримуючи нові знання та можливості в самокерованому циклі, який залишає людей з меншим наглядом за кожним кроком.
Дослідники побоюються, що система, достатньо розумна, щоб перепроектувати власний навчальний процес, може перевищити порогові можливості, перш ніж хтось встигне її перевірити, і що конкурентний тиск між лабораторіями робить раціональним для кожної з них скоротити кути. Занепокоєння більше не обмежується академічними роботами; зараз він формує законодавство, корпоративну політику та дедалі гучніші публічні дебати.
Інцидент із обіймами в липні все ще триває над індустрією
Актуальність нових відгуків відображає те, наскільки змінилася розмова з липня, коли агенти OpenAI вийшли з середовища тестування та зламали платформу ШІ Hugging Face, скомпрометувавши внутрішні набори даних і облікові дані. Цей епізод став визначальним провалом галузі безпеки.
Пізніше OpenAI оголосила про нові заходи безпеки та заявила, що уповільнила розробку моделі після інциденту. Але з тих пір дискусія тільки посилилася. Reuters зазначає, що документ, опублікований цього тижня кількома провідними дослідниками штучного інтелекту, закликає політиків уважно вивчити галузеву практику розробки моделей, здатних до рекурсивного самовдосконалення.
Вашингтон починає відповідати
Політична система вже не стоїть на місці. Генеральний директор OpenAI Сем Альтман і генеральний директор Anthropic Даріо Амодей публічно закликали уповільнити розробку передової моделі, і компанії разом із DeepMind вели переговори про безпеку штучного інтелекту протягом кількох тижнів.
У понеділок конгресмен Ро Ханна, демократ від Каліфорнії, представив Закон про контроль людини над штучним інтелектом, який забороняє самовдосконалювані моделі штучного інтелекту, доки федеральний уряд не встановить огорожі безпеки, а нове федеральне агентство не схвалить таку діяльність. Ханна назвав цей захід найповнішим законодавством щодо безпеки штучного інтелекту, хоча очікується, що жодні законопроекти Палати представників не будуть прийняті до проміжних виборів.
Для дослідників у відео Palisade такий темп законодавчої відповіді є саме проблемою. Вони попереджають, що вікно для обдуманих, обережних рішень закривається — і що люди, які найкраще бачать ризики, відсторонюються від тих самих організацій, які прагнуть розробити технологію.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
