Група Microsoft Research AI Frontiers — підрозділ із приблизно 50 осіб, що стоїть за інфраструктурою оркестровки агентів AutoGen і агентом використання комп’ютера Fara — досягла свого кінця, згідно з відвертою розповіддю від першої особи, опублікованою цього тижня дослідником машинного навчання Джоном Ленгфордом, який організував групу в MSR у 2023 році. Ленгфорд пише, що команда була поглинена Microsoft AI на початку вересня, і що на практиці реорганізація не залишила місця для його дослідницьку програму. Публікація вразила нерви: вона перевершила Hacker News з більш ніж 300 балами за кілька годин, і вона пропонує одну з найдетальніших інсайдерських розповідей про те, як у великій лабораторії відбувається перехід галузі від досліджень до масштабування. Ми відстежуємо наслідки в наших ділових новинах ШІ.

Що створили AI Frontiers

Ленгфорд відслідковує походження групи через кілька місяців після випуску ChatGPT, коли він дійшов висновку, що значимі дослідження ШІ всередині Microsoft потребують більшої структури, ніж традиційна модель MSR. «Обсяг підтримки та цілеспрямованості, яку застосовували інші дослідницькі групи, був настільки великим, що навіть якщо розумна ідея, розроблена однією людиною, мала ймовірність прийти із запізненням і бути непереконливою», — пише він, пояснюючи, що окремий дослідник не міг зібрати достатньо міцні базові лінії, щоб довести, що ідея варта того, щоб її слідувати.

Тож Ленгфорд і його колеги-однодумці організували AI Frontiers як суборганізацію приблизно з 50 осіб, навмисно структуровану ні зверху вниз, ні знизу вгору, а «десь посередині». Було застосовано найпомітніший результат групи: AutoGen, широко використовуваний фреймворк Microsoft з відкритим вихідним кодом для організації кількох агентів ШІ, і Fara, комп’ютерний агент. За словами Ленгфорда, «велика частина роботи AIF полягала в тому, щоб з’ясувати, як змусити агентів працювати».

Менш помітними були фундаментальні дослідження групи. Нью-йоркський контингент шукав те, що Ленгфорд описує як нові основні можливості: мета «Next Latent», яка дозволяє моделям екстраполювати, оптимізатор під назвою Dion3, який покращує Muon, і «Full Bandwidth Transformer», розроблений, щоб зробити моделі значно потужнішими за допомогою рекурсії.

Група також намагалася поділитися інфраструктурою з рештою Microsoft Research, зберігаючи монорепо, відкрите для всіх дослідників MSR. Це сховище включало кодову базу попереднього навчання, яку Ленгфорд представив минулого місяця на конференції COLM — деталь, яку він називає другорядною, але використовує її, щоб підкреслити, скільки зусиль потрібно для створення робочого конвеєра навчання моделі, зазначивши, що три інші внутрішні команди намагалися зробити те ж саме без спільної основи.

Вересневий реорг

На початку вересня Microsoft об’єднала AI Frontiers у Microsoft AI, набагато більший продуктовий підрозділ, який займається розробкою споживчого та корпоративного штучного інтелекту. Ленгфорд визнає, що на папері цей крок мав сенс: об’єднання двох організацій штучного інтелекту концентрує зусилля, і кожна мала сильні сторони, яких бракувало іншій.

На практиці, пише він, злиття розвалилося на філософії. «Основна філософія — це масштабування, а агресивне не дослідження», — говорить Ленгфорд про колишнє керівництво Microsoft AI Inflection — посилання на команду, яка приєдналася до Microsoft із стартапу Inflection AI, який зараз визначає напрямок розвитку підрозділу під своїм керівництвом. Його формулювання кінцевої економіки є чітким: більші моделі дають кращі прогнози, а «віддача від масштабу набагато передбачуваніша, ніж віддача від досліджень», тому організація, яка в першу чергу займається масштабуванням, зосереджується на отриманні та вдосконаленні даних, а не на нових методах.

Цей фокус, стверджує він, «дуже на крок» від фундаментальної роботи, яку виконував AI Frontiers — і крім філософської невідповідності, він каже, що прийом був у кращому випадку теплим. «Було багато доказів того, що вони просто не дуже хотіли нас», — пише Ленгфорд, називаючи ситуацію «важкою для себе». Він не шкодує власного погляду на компроміс, описуючи підхід лише масштабування як хибний, хоча повна аргументація виходить за межі того, що він прямо висловлює в пості.

Дослідження проти масштабування, крім Microsoft

Есе з’являється на тлі ширшої галузевої дискусії про те, чи можуть передові лабораторії підтримувати справжні дослідницькі організації разом із термінами виробництва продуктів. Навряд чи Microsoft єдина в консолідації досліджень штучного інтелекту під керівництвом, зосередженим на продуктах, але опис Ленгфорда надзвичайно конкретний щодо механізмів: невелика продуктивна група не отримала ні мандату, ні запрошення після корпоративної реорганізації, а її внески в інфраструктуру тихо поглинули.

Дискусія на Hacker News, де публікація викликала сотні коментарів, здебільшого була зосереджена на цій напрузі — чи розтини, подібні до цього, описують неминуче дозрівання корпоративних досліджень штучного інтелекту чи стратегічну помилку, коли лабораторії обмінюють довготривалі методологічні переваги на передбачувані прибутки від масштабування. Коментатори також відзначили іронію в тому, що AutoGen, один із знакових проектів AI Frontiers, допоміг визначити категорію агент-оркестровки, яка зараз домінує в дорожніх картах корпоративного штучного інтелекту.

Для Microsoft цей епізод є репутаційною приміткою з практичним наслідком. Компанія зробила ставку в своїй стратегії штучного інтелекту на темпи доставки Microsoft AI, і Ленгфорд не стверджує, що об’єднана організація створюватиме гірші продукти. Його занепокоєння є вужчим і гострим: те, що ланцюг нових ідей — люди, інфраструктура, терпимість до неперевірених підходів — це саме те, для чого підрозділ, який займається масштабуванням, має найменше користі до того дня, коли він йому знадобиться.

Ні публікація Ленгфорда, ні реорганізація, яку він описує, не змінюють те, що бачать користувачі сьогодні, але вони пояснюють, як Microsoft тепер сортує свої ставки на штучний інтелект. Дослідження, які можна перетворити на масштаб, є в; дослідження, яке може змінити значення масштабу, у кращому випадку, на випробувальному терміні. Як зазначив Ленгфорд у заголовку публікації, це кінець AI Frontiers — і точка даних у суперечці про те, для чого потрібні корпоративні дослідження AI.

Будьте попереду ШІ

Бізнес штучного інтелекту переписується в реальному часі, а рішення, прийняті в таких лабораторіях, як Microsoft, формують інструменти, які всі інші успадковують. Слідкуйте за всіма подіями в нашому висвітленні новин AI.

Читати більше новин AI →