Группа AI Frontiers компании Microsoft Research — подразделение из примерно 50 человек, стоящее за структурой оркестрации агентов AutoGen и агентом по использованию компьютеров Fara — подошла к концу, согласно откровенному отчету от первого лица, опубликованному на этой неделе исследователем машинного обучения Джоном Лэнгфордом, который организовал группу внутри MSR в 2023 году. Лэнгфорд пишет, что команда была поглощена Microsoft AI в начале сентября и что на практике реорганизация не оставила места для ее исследовательской программы. Пост задел нервы: он возглавил Hacker News с более чем 300 баллами за несколько часов и предлагает один из самых подробных инсайдерских отчетов о том, как переход отрасли от исследований к масштабированию происходит внутри крупной лаборатории. Мы отслеживаем последствия в нашем [освещении деловых новостей искусственного интеллекта] (https://aibuzzwire.news).

Что создали AI Frontiers

Лэнгфорд связывает возникновение группы с месяцами после выпуска ChatGPT, когда он пришел к выводу, что значимые исследования искусственного интеллекта внутри Microsoft нуждаются в большей структуре, чем традиционная модель MSR. «Объем поддержки и внимания, которые применяли другие исследовательские группы, был достаточно велик, поэтому даже если умная идея, которую преследовал один человек, скорее всего, пришла поздно и неубедительно», — пишет он, объясняя, что одиночный исследователь не может собрать достаточно убедительные исходные данные, чтобы доказать, что идея стоит того, чтобы ее развивать.

Поэтому Лэнгфорд и коллеги-единомышленники организовали AI Frontiers как подорганизацию из примерно 50 человек, намеренно структурированную не сверху вниз и не снизу вверх, а «где-то посередине». Наиболее очевидные результаты группы были применены: AutoGen, широко используемая платформа Microsoft с открытым исходным кодом для управления несколькими агентами искусственного интеллекта, и Fara, агент для использования на компьютере. По словам Лэнгфорда, «большая часть работы АиФ заключалась в том, чтобы выяснить, как заставить агентов работать».

Менее заметными были фундаментальные исследования группы. Контингент из Нью-Йорка реализовал то, что Лэнгфорд называет новыми основными возможностями: цель «Next Latet», которая позволяет моделям экстраполировать, оптимизатор под названием Dion3, который улучшает мюон, и «трансформатор с полной полосой пропускания», предназначенный для того, чтобы сделать модели существенно более мощными за счет рекурсии.

Группа также пыталась использовать инфраструктуру совместно с остальными подразделениями Microsoft Research, сохраняя монорепозиторий, открытый для всех исследователей MSR. Этот репозиторий включал в себя крупномасштабную кодовую базу для предварительного обучения, которую Лэнгфорд представил на конференции COLM в прошлом месяце — деталь, которую он называет незначительной, но которую он использует, чтобы подчеркнуть, сколько усилий требуется для создания работающего конвейера обучения модели, отметив, что три другие внутренние команды пытались сделать то же самое без общей основы.

Сентябрьская реорганизация

В начале сентября Microsoft объединила AI Frontiers в Microsoft AI, гораздо более крупное продуктовое подразделение, в котором сосредоточены усилия компании по потребительскому и корпоративному искусственному интеллекту. На бумаге, признает Лэнгфорд, этот шаг имел смысл: объединение двух ИИ-организаций требует концентрации усилий, и у каждой из них были сильные стороны, которых не хватало другой.

На практике, пишет он, слияние провалилось по философским соображениям. «Основная философия здесь — масштабирование, а не агрессивное исследование», — говорит Лэнгфорд о бывшем руководстве Microsoft AI из Inflection — имея в виду команду, которая присоединилась к Microsoft из стартапа Inflection AI, которая теперь под его руководством формирует направление развития подразделения. Его формулировка итоговой экономической теории является резкой: более крупные модели дают более точные прогнозы, а «отдача от масштаба гораздо более предсказуема, чем отдача от исследований», поэтому организация, ориентированная на масштабирование, концентрируется на сборе и уточнении данных, а не на новых методах.

Этот фокус, утверждает он, «далеко отстоит» от фундаментальной работы, которую делала AI Frontiers — и, помимо философского несоответствия, он говорит, что прием был в лучшем случае вялым. «Было множество доказательств того, что они на самом деле не хотели нас», — пишет Лэнгфорд, называя ситуацию «тяжелой для себя». Он не жалеет своего взгляда на компромисс, описывая подход, основанный только на масштабировании, как ошибочный, хотя полный аргумент выходит за рамки того, что он явно излагает в своем посте.

Исследования против масштабирования, за пределами Microsoft

Эссе появилось на фоне более широких отраслевых дебатов о том, могут ли передовые лаборатории поддерживать настоящие исследовательские организации в соответствии с графиком выпуска продукции. Microsoft далеко не единственная компания, которая консолидирует исследования в области ИИ под руководством, ориентированным на продукт, но отчет Лэнгфорда необычайно конкретен в отношении механики: небольшая, продуктивная группа, не получившая ни мандата, ни приветствия после корпоративной реорганизации, а ее вклад в инфраструктуру спокойно поглощается.

Дискуссия на Hacker News, где пост вызвал сотни комментариев, в основном была сосредоточена на этом противоречии — описывают ли вскрытия, подобные этому, неизбежное развитие корпоративных исследований в области ИИ или стратегическую ошибку, из-за которой лаборатории обменивают долгосрочные методологические преимущества на предсказуемый выигрыш от масштабирования. Комментаторы также отметили иронию того, что AutoGen, один из знаковых проектов AI Frontiers, помог определить категорию оркестрации агентов, которая сейчас доминирует в дорожных картах корпоративного ИИ.

Для Microsoft этот эпизод — репутационная сноска, имеющая практические последствия. Компания сделала ставку в своей стратегии искусственного интеллекта на темпы поставок Microsoft AI, и Лэнгфорд не утверждает, что объединенная организация будет создавать худшие продукты. Его озабоченность более узкая и более острая: поток новых идей — люди, инфраструктура, терпимость к непроверенным подходам — это именно то, к чему подразделение, ориентированное на масштабирование, меньше всего нуждается до того дня, пока оно ему не понадобится.

Ни пост Лэнгфорда, ни описываемая им реорганизация не меняют того, что видят пользователи сегодня, но они проясняют, как Microsoft теперь распределяет свои ставки на ИИ. Исследования, которые можно превратить в масштабы, уже начались; исследование, которое могло бы изменить значение шкалы, в лучшем случае находится на испытательном сроке. Как выразился Лэнгфорд в заголовке статьи, это конец AI Frontiers — и точка данных в споре о том, для чего нужны корпоративные исследования в области ИИ.

Будьте впереди ИИ

Бизнес ИИ переписывается в реальном времени, и решения, принимаемые в таких лабораториях, как Microsoft, формируют инструменты, которые наследуют все остальные. Следите за каждым развитием событий в нашем освещении новостей AI.

Читать больше новостей об искусственном интеллекте →