Дослідники з Тель-Авівського та Стенфордського університетів повідомляють, що системи штучного інтелекту можуть розвивати справжні навички навчання за допомогою навчального матеріалу, повністю створеного іншими моделями штучного інтелекту — без написаного людиною тексту, фотографій чи будь-яких інших зовнішніх даних.
Висновки, опубліковані на платформі наукових препринтів arXiv і описані The Media Line, свідчать про те, що модель може розвинути свої основні передбачувані здібності ще до того, як зіткнеться з матеріалом реального світу — результат, який може змінити спосіб навчання майбутніх систем ШІ. Щоб отримати більше екстремальних досліджень, відвідайте домашню сторінку AI Buzz Wire.
Як працює цикл самопідготовки
Команда перевірила концепцію за допомогою системи навчання, побудованої з двох моделей ШІ. Один мав завдання генерувати послідовності символів; інший намагався передбачити, який символ з’явиться наступним. Жодна модель не зверталася до письмових документів, фотографій чи будь-яких інших зовнішніх джерел — кожна вправа в навчальній програмі створювалася в самій системі.
У міру виконання вправ генератор ставав все більш досконалим у створенні викликів, які покращували продуктивність його партнера, тоді як провісник розвинув сильніші здібності, неодноразово намагаючись вирішити ці проблеми. Цей підхід ефективно дозволяє системі штучного інтелекту відточувати те, як вона навчається, завдяки безперервному циклу створення та розв’язування вправ зі зростаючою складністю.
Навички без знань
Щоб визначити, чи можна застосувати ці навички за межами штучного навчального середовища, дослідники оцінили отриману модель за кількома типами реальної інформації: письмова мова, зображення, аудіо, музика, комп’ютерний код і послідовності ДНК.
Експерименти продемонстрували, що точність прогнозування продовжує зростати, оскільки додаткові обчислювальні ресурси виділялися на навчання, що свідчить про те, що метод масштабується та може стати більш ефективним із розширенням обчислювальної потужності.
Результати також підкреслюють важливу рису. Моделі розвинули здатність розпізнавати шаблони, але вони не отримували незалежно фактичної інформації про предмети реального світу; Дослідники виявили, що такі знання все ще потребують ознайомлення з фактичними даними. Іншими словами, самогенероване навчання може навчити модель, як навчатися, але не те, що містить світ.
Дослідники вважають, що ця техніка, тим не менш, може зробити майбутні системи штучного інтелекту більш ефективними, посиливши їхні базові здібності до навчання, перш ніж вони почнуть обробляти реальну інформацію, потенційно зменшивши кількість створеного людиною матеріалу, необхідного для прикордонних тренувань на передній частині трубопроводу.
Чому «Навчитися вчитися» важливо
Є корисна аналогія з людською освітою: учень, який практикувався у розв’язанні незнайомих проблем, як правило, витягує більше з фіксованого підручника, ніж той, хто просто вивчив його напам’ять. Те, що Тель-Авів-Стенфорд демонструє, з огляду на таке читання, є машинною версією цього поділу — фазою, на якій модель набуває загальних навичок прогнозування завдяки виготовленим вправам, перш ніж будь-який реальний корпус з’явиться в картині.
Це відкриття також є нагадуванням про те, що попередня підготовка та знання — це не одне й те саме, відмінність, яка стає все більш важливою, оскільки лабораторії змішують синтетичні дані у своїх конвеєрах. Якщо модель може прийти до стадії реальних даних, уже знаючи, як вичавити сигнал із послідовностей, той самий корпус, ймовірно, може продовжити роботу — хоча це залишається гіпотезою, доки її не перевірить майбутня робота.
Як і будь-який препринт, результат очікує повторення та ретельного вивчення з боку ширшої дослідницької спільноти, а оцінка охоплювала прогнозні завдання, а не відкрите покоління, яке визначає комерційні чат-боти.
Галузь, що потребує даних, бере на замітку
Результат припадає на середину активної дискусії щодо навчальних даних. Доступний пул високоякісного людського тексту був інтенсивно видобутий, і ліцензійні угоди, синтетичні дані та методи самовідтворення — все це використовувалося як способи продовжувати вдосконалювати моделі, коли пропозиції відкритого Інтернету вичерпуються. Демонстрація того, що корисні навички навчання можуть з’явитися в результаті суто згенерованих машиною вправ, додає конкретних даних до цього аргументу.
Власне застереження дослідників позначає межу претензії: знання світу все ще вимагає реальних даних. Згідно з цим доказом, самонавчання — це спосіб покращити навчання моделей, а не спосіб замінити базову правду, яка походить із реального світу.
Ізраїль схиляється до ШІ
Оголошення надходить, оскільки Ізраїль працює над зміцненням своїх позицій у сфері штучного інтелекту. 3 листопада президент Ісаак Герцог скликав інавгураційну сесію форуму «Поза межами інтелекту», створеного Національним управлінням ШІ в Офісі прем’єр-міністра та Інститутом політики ШІ Mosaic для вивчення впливу ШІ на зайнятість, економічну безпеку та суспільство.
"Ізраїль повинен зайняти своє місце в авангарді штучного інтелекту", - закликав Герцог на сесії, повідомляє The Media Line. «Цей поїзд не чекатиме нас, і весь світ дивиться в наш бік».
Наразі результати Тель-Авіва та Стенфорда стоять прямо в дослідницькій колонці: препринт, який очікує на ретельний аналіз, описує принцип навчання, а не продукт. Але якщо власноруч створені навчальні програми можуть суттєво замінити частину конвеєра даних, найбільш спірний вхідний матеріал галузі — дані, створені людиною — може мати дещо менше значення, ніж його найдефіцитніший: обчислення.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
