Джон Шульман, співзасновник OpenAI, який зараз є головним науковим співробітником Thinking Machines, сказав, що очікує рекурсивного самовдосконалення — системи штучного інтелекту, які прискорять свій власний розвиток — приблизно через три-чотири роки, що ставить його до числа більш агресивних прогнозистів у цій галузі. Шульман дав оцінку під час круглого столу в епізоді Dwarkesh Podcast, опублікованому в п’ятницю, в якому троє дослідників прикордонної лабораторії відкрито обговорювали, наскільки індустрія насправді близька до своєї межі.

Розмова запропонувала рідкісний необачний погляд на те, як дослідники, близькі до кордону, думають про прогрес, прибувши посеред галасливого тижня, коли генеральний директор Nvidia Дженсен Хуанг оголосив, що «AGI прийшов», а група з 25 медалістів Філдса попередила, що гонитва за тестами ШІ шкодить математиці. Для читачів, які стежать за [останніми розробками штучного інтелекту] (https://aibuzzwire.news), цей епізод є корисною противагою: це люди, які створюють системи, і вони різко не погоджуються один з одним.

Хто був за столом

Ведучий Дваркеш Патель сказав, що він зібрав групу, тому що гості працюють у, як він назвав, «дещо відкритих лабораторіях і компаніях», тобто вони могли говорити під запис. До Шульмана приєдналися Берен Міллідж, головний технічний директор Zyphra, стартапу, що розробляє моделі з відкритим вихідним кодом, і Чарлі О'Ніл, керівник відділу підготовки моделей у Baseten.

Посвідчення Шульмана надають його розмові про хронологію особливої ​​ваги. Він був співзасновником OpenAI і очолював дослідження зворотнього зв’язку з людьми, які створили методи ChatGPT, а потім перейшов у Thinking Machines, де зараз працює головним науковим співробітником.

Справа проти сингулярності, сталеві команди

Патель почав гострим запитанням: якщо 2036 рік настане без мільярдів надрозумних систем, які трансформують світ, яка буде технічна причина? Міллідж запропонував найвагоміший аргумент для скептицизму, описавши те, що він назвав парадоксом у стилі майже Моравека, у якому моделі перемагають будь-які критерії, які дослідники ставлять перед ними, але вплив реального світу розчаровує.

«Існує певний постійний розрив між симулятором і реальним, який якимось чином блокує все», — сказав Міллідж, описуючи світ, де штучний інтелект стає «надзвичайно хорошим у всьому, що люди вкладають у тести», без подальших узагальнень. Він додав, що вважає такий результат малоймовірним, вказуючи на докази того, що навчання з підкріпленням вже є узагальненим на практиці.

Шульман здебільшого погодився з тим, що прогрес не відбувається автоматично. За його словами, люди мають реальні переваги перед сучасними моделями, і кожна нова модель наздоганяє в одних сферах, залишаючись вузькими місцями в інших — закономірність, яка визначила останні кілька циклів виробництва продукції.

Терміни швидкого вогню: два роки, три-чотири, п'ять-десять

Коли Пател натиснув на цифри, панель розкололася. На запитання, коли штучний інтелект може забезпечити десятикратне підвищення продуктивності для компетентного білого комірця, Шульман спочатку відмовився назвати жодну цифру, а потім сказав: «Я б сказав, що два роки». Міллідж сказав, що він міг "начебто це побачити", стверджуючи, що приріст уже перевищує 10 разів для деяких категорій робіт. О'Ніл був найбільш консервативним, відповівши «від 5 до 10» років.

Потім Пател пішов далі, охарактеризувавши сценарій як «в основному просто ASI». Відповідь Шульмана: «Я б сказав, що 3-4 роки», додавши, що сама автоматизація досліджень штучного інтелекту «не є однією з найважчих речей для штучного інтелекту, оскільки вона включає багато» роботи, до якої вже підходять сучасні методи. Обмін був примітний тим, як мало негативу викликала оцінка з боку інших дослідників.

Як насправді будуть навчені автоматизовані дослідники

Значна частина епізоду стосувалась механіки сценарію, який оцінював Шульман. Відповідаючи на запитання, як будуть навчені системи штучного інтелекту, здатні автоматизувати дослідження ШІ, Шульман описав «деяку комбінацію навчання на відгуках людей, щоб засвоїти смаки дослідників, і просто створення багатьох практичних середовищ, які передбачають проведення багатоетапних досліджень».

Ця відповідь пов’язана з тим, куди йдуть гроші галузі. Нещодавно завершена угода Google для Mechanize, стартапу, який створює імітаційне робоче середовище для навчання агентів, відображає саме цю ставку на те, що кращі навчальні майданчики, а не лише більші моделі, сприятимуть наступному вирішенню можливостей. Шульман також зазначив основну складність: функції винагороди, побудовані на природних даних, важко визначити, а поверхневі сигнали, наприклад, чи прийняв користувач редагування коду, можуть ввести в оману навчання.

Дистиляція проти централізації

Один із найбільш конкретних прогнозів Шульмана стосувався структури промисловості. «Я вважаю, що дистиляція — це головна річ, яка бореться з централізуючою силою», — сказав він, стверджуючи, що здібності, отримані за допомогою навчання з підкріпленням, можна відносно легко перенести на менші моделі, поширюючи прикордонну компетенцію за межі небагатьох компаній, які можуть дозволити собі проходження прикордонного навчання.

У питанні про те, що залишається людям, Шульман був категоричний. «Я б сказав, що остання робота для людей або роль для людей, яка триватиме найдовше, — це визначити мету та вирішити, чого ми насправді хочемо», — сказав він. Коли Патель резюмував: «Вирівнювання — це остання робота», Шульман погодився: «Вирівнювання — це свого роду відповідь», водночас зазначивши, що воно розкладається на визначення правильної мети, а потім її фактичне досягнення.

Де епізод підходить до дискусії про хронологію

Підзаголовок епізоду — «Ми не наближаємося до стелі» — відображає його загальний зміст: дослідники, які бачать попереду значну злітно-посадкову смугу, навіть коли вони сперечаються про те, наскільки вибоїстим буде шлях. Обговорення стосувалося того, що сприяє прогресу китайських лабораторій, чи може довгострокове навчання з підкріпленням викликати загальний інтелект і чому RL почав працювати так само добре, як це було.

Громадські дебати щодо термінів цього місяця активізувалися з усіх боків. Проголошення Хуанга «AGI прибуло» викликало скептицизм у аналітиків, які розглядали це як комерційне обґрунтування, а не наукове твердження, тоді як генеральний директор OpenAI Сем Альтман сказав співробітникам, що компанія відкрита для уповільнення передових розробок, оскільки занепокоєння щодо безпеки зростають, повідомляє Bloomberg. Три-чотири роки Шульмана для рекурсивного самовдосконалення знаходиться десь між маркетингом і мораторієм — робоча оцінка від когось із досвідом створення технік, які зараз ведуть сферу.

Чи буде він правий, залежатиме від питань, які група лише обвела: чи навчання з підкріпленням продовжує узагальнювати своє навчальне середовище, і чи розрив між еталонною продуктивністю та реальною економічною цінністю продовжує скорочуватися.

Будьте попереду ШІ

Дослідники Frontier публічно обговорюють обмеження ШІ — слідкуйте за розвитком історії.

Читайте більше новин AI на AI Buzz Wire