Французская компания Mistral AI, занимающаяся искусственным интеллектом, вышла на рынок робототехники с Robostral Navigate, моделью с 8 миллиардами параметров, которая позволяет роботам автономно перемещаться в сложных средах, используя не что иное, как одну обычную RGB-камеру. Модель, анонсированная 8 июля 2026 года, представляет собой первый шаг Mistral в области воплощенного искусственного интеллекта и физической робототехники.

Robostral Navigate получает изображения RGB и инструкции, написанные простым языком, и перемещает робота по такой среде, как офис, жилое здание или открытое пространство. Что отличает его от других, так это аппаратный минимализм: в то время как конкурирующие модели обычно полагаются на датчики глубины, LiDAR или несколько камер, работающих совместно, Robostral Navigate использует только одну стандартную камеру RGB и вообще не использует датчики глубины. Чтобы получить всестороннее освещение новых моделей искусственного интеллекта, читатели могут следить за последними разработками в области искусственного интеллекта на нашей домашней странице.

Новейшая производительность на R2R-CE

Несмотря на свой однокамерный подход, Robostral Navigate достигает 76,6% успеха в невидимом тесте проверки R2R-CE (перемещение в помещение в непрерывной среде), стандартном тесте на следование навигационным инструкциям в средах, проводимых во время обучения. Этот результат превосходит лучший предыдущий подход с одной камерой на 9,7 процентных пункта и превосходит лучшую систему, использующую датчики глубины или несколько камер, на 4,5 пункта, несмотря на то, что ни одна из них не используется.

При проверке модель достигает 79,4% успеха. По словам Мистраля, модель распространяется на типы роботов, работающих на колесных, ножных и даже летающих роботах, и адаптируется к размерам роботов без переобучения.

Полностью создан в симуляции

Одним из наиболее примечательных аспектов Robostral Navigate является то, что он был полностью создан собственными силами и обучен исключительно на моделировании. Компания Mistral построила эффективный конвейер генерации данных, который формировал набор данных примерно из 400 000 траекторий, собранных в 6 000 смоделированных сценах. Такой подход, основанный на моделировании, позволил выполнить быструю итерацию без затрат и логистических проблем, связанных со сбором реальных данных.

Модель инициализируется на основе собственной модели языка видения Mistral, которая была специализирована для выполнения базовых задач, таких как наведение, подсчет и локализация объектов. Навигация становится естественным расширением этих возможностей: как только модель понимает, где находятся объекты на изображении, она учится, как к ним двигаться. Примечательно, что Robostral Navigate не полагается на какие-либо существующие модели языка видения с открытым исходным кодом.

Навигация на основе указателей и обучение с подкреплением

Robostral Navigate использует механизм навигации на основе указателей. Учитывая задачу и историю наблюдений, модель предсказывает, куда робот должен двигаться дальше, определяя координаты изображения целевого местоположения в текущем виде камеры робота, а также желаемую ориентацию по прибытии. Такой подход к наведению делает политику естественно устойчивой к изменениям в характеристиках камеры и мировом масштабе, в отличие от команд, которые полагаются на метрические смещения.

Когда целевое местоположение находится за пределами текущего поля зрения и наведение не применяется, модель возвращается к смещениям в локальной системе координат робота. После контролируемого обучения компания Mistral применила онлайн-обучение с подкреплением, используя свой алгоритм CISPO, который позволил модели учиться методом проб и ошибок, восстанавливаться после сбоев и приобретать исследовательское поведение. Один только этот этап обучения с подкреплением повысил показатель успеха на 3,2 процентных пункта, и Mistral сообщает, что производительность все еще растет без признаков стабилизации.

Эффективное обучение с помощью префиксного кэширования

Ключевой технической инновацией является эффективный алгоритм обучения, основанный на кэшировании префиксов. Используя древовидную стратегию маскировки внимания, метод Мистраля сжимает весь эпизод в единую последовательность, позволяя тренироваться на всех временных шагах за один проход вперед, предотвращая при этом утечку информации между временными шагами. По сравнению с обучением с использованием одной выборки за временной шаг, этот подход уменьшает количество обучающих токенов в 22 раза, сохраняя при этом все обучающие сигналы. На практике, по словам компании, это превращает тренировки, которые могут занять месяцы, в тренировки, которые завершаются за несколько дней.

Приложения и что будет дальше

Mistral позиционирует Robostral Navigate как решение одной из наиболее востребованных сегодня функций для своих клиентов. Эта технология открывает возможности для применения в производстве, доставке, логистике и гостиничном бизнесе. Дайте модели одну инструкцию, и она самостоятельно выполнит всю задачу, перемещаясь по живым пространствам, полным людей и препятствий, которых никогда не было показано во время обучения.

Компания описывает этот выпуск как лишь первый шаг на пути к единому воплощенному агенту. Mistral активно расширяет свою команду по робототехнике и ищет ученых-исследователей и инженеров. Запуск знаменует собой значительное стратегическое расширение парижского стартапа, который прежде всего был известен своими большими языковыми моделями, а теперь продемонстрировал серьезную приверженность физическому искусственному интеллекту и робототехнике.

Переход к робототехнике происходит по мере того, как более широкая индустрия искусственного интеллекта все больше инвестирует в воплощенный искусственный интеллект, а компании изучают, как возможности языковой модели могут быть расширены для взаимодействия с физическим миром. Подход Mistral, основанный на моделировании и использовании одной камеры, может снизить барьер для развертывания автономных навигационных систем, особенно в чувствительных к затратам коммерческих приложениях, где установки с несколькими датчиками непрактичны.

Будьте впереди ИИ

Robostral Navigate теперь доступен клиентам Mistral. Чтобы узнать больше о последних новостях и анализе ИИ, посетите AI Buzz Wire.

Читать больше новостей об искусственном интеллекте →