Компания Arm представила Mali G2-Ultra NX, первый графический процессор в своем семействе Mali, созданный специально для нейронной графики, обещающий качество изображения на смартфонах на уровне настольных компьютеров, поскольку ускорение искусственного интеллекта находится в центре графического конвейера, а не привязано к нему напрямую.

Новая архитектура, анонсированная во вторник в отделе новостей Arm, интегрирует выделенные нейронные ускорители непосредственно в шейдерные ядра, позволяя нейронным нагрузкам выполняться вместе с обычной графикой и вычислительными задачами, одновременно используя систему памяти графического процессора, когерентные кэши и структуры управления. Арм говорит, что тесная интеграция уменьшает перемещение данных и повышает эффективность — критический фактор в строгих рамках энергопотребления и теплового режима мобильного устройства. Чтобы узнать больше о последних разработках в области искусственного интеллекта, следите за постоянными репортажами AI Buzz Wire. последние разработки ИИ

Три нейронные технологии для мобильных игр

Mali G2-Ultra NX поставляется с тремя основными нейронными технологиями:

Neural Super Sampling (NSS) реконструирует изображения с более высоким разрешением из рендеров с более низким разрешением, объединяя временные данные со встроенным сглаживанием, чтобы сократить объем обычной работы по рендерингу, необходимой для получения высококачественного финального кадра.

Нейронное масштабирование частоты кадров (NFRU) генерирует промежуточные кадры, используя данные о движении, глубине и визуализируемых кадрах, повышая частоту кадров для более плавного игрового процесса и, по словам Арма, поддерживая более длительные мобильные игровые сессии со скоростью до 120 кадров в секунду.

Neural Super Sampling and Denoising (NSSD) сочетает нейронное масштабирование с шумоподавлением для улучшения качества изображения в требовательных сценах с трассировкой лучей со сложным освещением и тенями.

Чтобы продемонстрировать работу конвейера, компания Arm и разработчик игр Sumo Digital построили презентацию под названием Neural Dawn. Арм утверждает, что демо-версия обеспечивает до 4 раз более высокую эффективность производительности и до 70 процентов меньше трафика внешней памяти по сравнению с собственным рендерингом, а также делает такие методы, как MegaLights от Unreal Engine, практичными на мобильном оборудовании.

Крупнейшее обновление Mali ISA за семь поколений

Помимо нейронного оборудования, G2-Ultra NX представляет новый механизм выполнения, который Арм описывает как крупнейшее обновление архитектуры набора команд Mali за семь поколений. Он обеспечивает вдвое больше регистров на деформацию, давая разработчикам возможность создавать более насыщенные сцены и более сложные эффекты, сохраняя при этом стабильную частоту кадров.

Архитектурные достижения выражаются в измеримых цифрах, по крайней мере, согласно собственным тестам Arm: до 24 процентов более высокая производительность в тестах и ​​на 14 процентов более высокая игровая производительность без искусственного интеллекта по сравнению с предыдущим поколением.

Трассировка лучей третьего поколения

Трассировка лучей возвращается в третий раунд. G2-Ultra NX оснащен аппаратным блоком трассировки лучей третьего поколения от Arm, который, по словам компании, поддерживает более сложное освещение, тени, отражения и геометрию, одновременно сокращая трафик DRAM до 13 процентов в ведущих тестах трассировки лучей.

Новая аппаратная поддержка микрокарт непрозрачности помогает графическому процессору более эффективно обрабатывать сложную прозрачную геометрию — листву, ткани и многослойные поверхности. В демонстрации One Arm использование Opacity Micromaps увеличило частоту кадров на 30 процентов и снизило рабочую нагрузку по трассировке лучей почти на 70 процентов.

Почему важна искусственная графика

Это объявление отражает более широкое убеждение отрасли в том, что будущее графики в реальном времени является гибридным: традиционный рендеринг для того, что можно вычислить дешево, нейронная реконструкция для всего остального. Графические процессоры для настольных ПК от Nvidia, AMD и Intel нормализовали масштабирование искусственного интеллекта и генерацию кадров на высоком уровне; производители консолей используют методы машинного обучения для аналогичных целей. Мобильная версия отстает, главным образом потому, что нейронные модели конкурируют за тот же бюджет мощности, что и сама игра.

Ответ Арма архитектурный: вместо того, чтобы рассматривать ИИ как отдельный ускоритель, конкурирующий за пропускную способность памяти, G2-Ultra NX встраивает нейронные блоки внутри шейдерных ядер, где уже находятся данные. Компания утверждает, что это позволяет нейронным методам перейти от технических демонстраций к серийным играм, сохраняя при этом мощность телефона.

Этот аргумент памяти заслуживает особого внимания. В мобильных системах на кристалле трафик внешней памяти является одним из крупнейших потребителей энергии и задержек — перемещение данных с графического процессора и обратно требует больше энергии, чем вычисления на нем. Арм утверждает, что за счет повторного использования когерентных кэшей и структур управления графического процессора для нейронных рабочих нагрузок конструкция позволяет избежать большей части этого обхода. Сокращение трафика внешней памяти на 70 процентов по сравнению с демонстрацией Neural Dawn в этом смысле является в такой же степени заявлением о сроке службы батареи, как и о производительности.

Компания также играет в экосистему. В заявлении Arm G2-Ultra NX рассматривается как способ для разработчиков быстрее внедрить нейронную графику в производство, предполагая, что эталонные реализации, такие как Neural Dawn, предназначены для разработки проектов, которые студии могут адаптировать, а не для разовых маркетинговых демонстраций. Ожидания мобильных пользователей — более насыщенная графика, более плавная частота кадров, более захватывающие сцены — продолжают расти, и Arm делает ставку на то, что разработчики выберут тот конвейер, который будет соответствовать этим ожиданиям в пределах температурных ограничений.

Масштаб установленного основания дает вес шага. По данным Arm, на сегодняшний день продано более 14 миллиардов графических процессоров Mali, и хотя флагманский G2-Ultra NX появится первым в устройствах премиум-класса, методы нейронной графики, как правило, просачиваются в линейки продуктов лицензионных партнеров в последующих поколениях.

Для разработчиков игр идея заключается в том, что мобильные игроки все больше ожидают визуальной точности и плавности, присущих консолям, и что удовлетворение этих ожиданий в пределах тепловых ограничений телефона теперь требует искусственного интеллекта на каждом этапе конвейера. Компания Arm фактически заявила, что эпоха, когда нейронный рендеринг был необязательным для мобильных графических процессоров, закончилась.

Будьте впереди ИИ

Следите за последними разработками в области искусственного интеллекта и новостями об аппаратном обеспечении искусственного интеллекта, поскольку искусственный интеллект на устройствах меняет индустрию микросхем.

Читать больше новостей об искусственном интеллекте →