More than 20 researchers — among them Nobel laureate Geoffrey Hinton, fellow AI pioneer Yoshua Bengio, Anthropic co-founder Jack Clark and OpenAI chief scientist Jakub Pachocki — have warned governments to prepare for an AI "intelligence explosion" that they say could be the most consequential technological development in history, The Guardian reported Monday.

The paper, titled "What if automating AI R&D triggers an intelligence explosion", urges politicians to act before there is runaway progress in the technology. Its authors describe the scenario as a "dramatic AI-driven acceleration of AI progress, compressing advances that would otherwise take years into months or less". For readers tracking the latest AI research news, the report is notable less for its alarm than for who signed it: figures from across academia and rival frontier labs, jointly making the case that automated research is the scenario policymakers are least prepared for.

Що означав би вибух інтелекту

The authors' central concern is the prospect of AI systems improving themselves without human intervention — a process known as recursive self-improvement, referred to broadly in the paper as automated AI research and development.

Once AI systems reach expert-level capabilities at AI R&D, the paper argues, a single developer could run a workforce equivalent to "millions" of top human researchers. Automating AI R&D is, in the authors' view, the most likely trigger of an intelligence explosion, because AI systems are already contributing to improving their own technology — and the improved systems they help create can be rapidly deployed once built.

"An intelligence explosion could be the most consequential technological development in human history, compressing years of progress into months or less, threatening human control over AI systems, and severely eroding checks on power within and between states, companies, and branches of government," the paper says, according to The Guardian.

Чому автори кажуть, що вікно закривається

Терміновість звіту ґрунтується на часовій шкалі: системи штучного інтелекту, які сьогодні здаються несправними, до 2028 року зможуть повністю автоматизувати науково-дослідні проекти, які зараз займають кілька місяців.

«Підвищення продуктивності завдяки автоматизації досліджень і розробок штучного інтелекту ще не досягло порогу, необхідного для вибуху інтелекту, але прибуток від нових систем, ймовірно, наближається до цього порогу», — пишуть автори. «Як тільки почнеться вибух розвідки, вікно для дій може закритися».

The paper adds that "preliminary evidence suggests that a software-driven intelligence explosion is possible", which could lead to the "extremely rapid development of highly capable or superhuman AI systems".

Ризики, які вони позначають

У той час як вибух інтелекту може призвести до медичних проривів і швидких технологічних стрибків, автори окреслюють три основні небезпеки:

  • Втечущі загрози. Потужні системи можуть створювати біологічні та кібернетичні загрози, які розвиваються швидше, ніж заходи, необхідні для протидії їм.
  • Втратили контроль. Оскільки люди менше залучаються до досліджень і розробок штучного інтелекту, вони можуть втратити можливість керувати та обмежувати створені ними системи.
  • Strategic instability. States could use an intelligence explosion to convert a modest lead — in cyberspace, for example — into a decisive national advantage.

У звіті відверто стверджується, що ці наслідки є «невизначеними». A technological breakthrough could take time to implement given supply chains for specialised materials or regulatory requirements, and AI systems could also accelerate the speed at which risks are mitigated.

Що повинні робити уряди

Автори стверджують, що підготовка до вибуху розвідувальних даних «має бути невідкладним пріоритетом, у тому числі на найвищих рівнях урядового керівництва», і викладають низку стратегій для кандидатів:

  • Вимагання прозорих звітів про хід досліджень і розробок, пов’язаних зі штучним інтелектом, у тому числі залучення незалежних аудиторів до компаній штучного інтелекту.
  • Обмеження того, наскільки швидко система штучного інтелекту може вдосконалюватися протягом певного періоду часу
  • Робота з центрами обробки даних, щоб призупинити певні проекти досліджень і розробок штучного інтелекту
  • Переконайтеся, що автоматизовані системи досліджень і розробок ШІ повністю ізольовані та не можуть вийти з-під контролю людини
  • Створення «планів реагування на надзвичайні ситуації» для ряду сценаріїв, які може спричинити вибух розвідувальних даних

Пропозиції розширюють ідеї, які вже пройшли через західну політику штучного інтелекту — обов’язкове звітування про інциденти, оцінку третіми сторонами та керування обчислювальними засобами — але застосовують їх до конкретної кінцевої точки: автоматизації самих досліджень.

Чому ці автори і чому саме зараз

Підписанти надають паперу незвичайної ваги. Хінтон і Бенгіо є двома «хрещеними батьками» сучасного штучного інтелекту, визнаними фундаментальними роботами над нейронними мережами; обидва стали відомими голосами, які попереджають про технологію, яку вони допомогли створити. Кларк є співзасновником Anthropic, а Пачокі є головним науковим співробітником OpenAI.

Їхнє попередження стає на тлі вимірного руху промисловості в цьому напрямку. За словами Anthropic, ШІ зараз створює 80% власного коду, тоді як OpenAI використовує автономних агентів ШІ в таких сферах, як навчання нових моделей, повідомляє The Guardian. Обидві лабораторії також погодилися, щоб незалежні оцінювачі оцінили їхні моделі після попередження, що розробка штучного інтелекту досягає критичного рівня з точки зору безпеки.

Інше питання, чи рухатимуться уряди тими темпами, яких хочуть автори. Але основний аргумент газети — що момент, щоб створити гальма ще до того, як вони знадобляться машині — тепер схвалений людьми, найближчими до машини.

---

Будьте попереду ШІ

Отримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.

Читати більше новин AI →