Исследователи из Тель-Авивского университета и Стэнфордского университета сообщают, что системы искусственного интеллекта могут развивать настоящие навыки обучения с помощью учебных материалов, полностью созданных другими моделями ИИ — без использования написанного человеком текста, фотографий или каких-либо других внешних данных.
Результаты, опубликованные на научной платформе препринтов arXiv и описанные The Media Line, предполагают, что модель может развить свои основные прогностические способности еще до того, как встретится с реальным материалом — результат, который может изменить способ обучения будущих систем искусственного интеллекта. Более подробную информацию об исследованиях можно найти на домашней странице AI Buzz Wire.
Как работает цикл самообучения
Команда протестировала концепцию с помощью системы обучения, построенной на основе двух моделей искусственного интеллекта. Одному было поручено генерировать последовательности символов; другой пытался предсказать, какой символ появится следующим. Ни одна из моделей не использовала письменные документы, фотографии или любые другие внешние источники — каждое упражнение в учебной программе было создано внутри самой системы.
По мере выполнения упражнений генератор становился все более изощренным в создании задач, которые улучшали производительность его партнера, в то время как предсказатель развивал более сильные способности, неоднократно пытаясь решить эти проблемы. Этот подход эффективно позволяет системе искусственного интеллекта отточить процесс обучения посредством непрерывного цикла создания и решения упражнений возрастающей сложности.
Навыки без знаний
Чтобы определить, можно ли применить эти навыки за пределами искусственной среды обучения, исследователи оценили полученную модель на основе нескольких типов реальной информации: письменного языка, изображений, аудио, музыки, компьютерного кода и последовательностей ДНК.
Эксперименты показали, что точность прогнозирования продолжала расти по мере того, как на обучение выделялись дополнительные вычислительные ресурсы — свидетельство того, что метод масштабируется и может стать более эффективным по мере расширения вычислительных мощностей.
Результаты также подводят важную черту. Модели развили способность распознавать закономерности, но не смогли самостоятельно получить фактическую информацию о предметах реального мира; исследователи обнаружили, что такого рода знания по-прежнему требуют использования реальных данных. Другими словами, самообучение может научить модель тому, как учиться, но не тому, что содержит мир.
Исследователи полагают, что этот метод, тем не менее, может сделать будущие системы искусственного интеллекта более эффективными, укрепив их базовые способности к обучению, прежде чем они начнут обрабатывать информацию из реального мира, что потенциально уменьшит количество созданного человеком материала, требующегося для передовых тренировок в начале конвейера.
Почему важно «учиться учиться»
Есть полезная аналогия с человеческим образованием: ученик, который попрактиковался в решении незнакомых задач, обычно извлекает больше из стандартного учебника, чем тот, кто просто запомнил его. В данном случае установка Тель-Авив-Стэнфорд демонстрирует машинную версию этого разделения — фазу, на которой модель приобретает общие навыки прогнозирования на основе сфабрикованных упражнений до того, как на сцене появится какой-либо реальный корпус.
Это открытие также является напоминанием о том, что предварительное обучение и знания — это не одно и то же, и это различие становится все более важным по мере того, как лаборатории смешивают синтетические данные в своих конвейерах. Если модель сможет достичь стадии реальных данных, уже зная, как выжать сигнал из последовательностей, тот же корпус вполне может продвинуться дальше — хотя это остается гипотезой, пока будущие работы не проверят ее.
Как и в случае с любым препринтом, результат ожидает повторения и изучения со стороны более широкого исследовательского сообщества, а оценка охватывала прогнозные задачи, а не открытое поколение, которое определяет коммерческие чат-боты.
Индустрия, нуждающаяся в данных, принимает это к сведению
Результат оказывается в центре активных дебатов по поводу обучающих данных. Доступный пул высококачественного человеческого текста был тщательно изучен, а лицензионные соглашения, синтетические данные и методы самостоятельной игры использовались как способы дальнейшего совершенствования моделей, когда запасы открытой сети иссякают. Демонстрация того, что полезные навыки обучения могут возникнуть в результате чисто машинных упражнений, добавляет к этому аргументу конкретную информацию.
Собственная оговорка исследователей отмечает границу утверждения: мировые знания по-прежнему требуют реальных данных. Согласно этим данным, самообучение — это способ улучшить обучаемость моделей, а не способ заменить основную истину, исходящую из реального мира.
Израиль опирается на искусственный интеллект
Это объявление было сделано в то время, когда Израиль работает над укреплением своих позиций в области искусственного интеллекта. 3 ноября президент Исаак Герцог созвал первое заседание форума Beyond Intelligence, созданного совместно с Национальным управлением ИИ при канцелярии премьер-министра и Институтом политики ИИ Mosaic для изучения влияния ИИ на занятость, экономическую безопасность и общество.
«Израиль должен занять свое место в авангарде искусственного интеллекта», — призвал Херцог на сессии, сообщает The Media Line. «Этот поезд нас не будет ждать, и весь мир смотрит в нашу сторону».
На данный момент результат Тель-Авива-Стэнфорда стоит прямо в колонке исследований: препринт, ожидающий изучения в этой области, описывающий принцип обучения, а не продукт. Но если самогенерируемые учебные программы смогут значимо заменить часть конвейера данных, то самый спорный ресурс отрасли — данные, созданные человеком — может иметь несколько меньшее значение, чем его самый дефицитный ресурс: вычисления.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
