Arm представила Mali G2-Ultra NX, перший графічний процесор у своєму сімействі Mali, створений спеціально для нейронної графіки, який обіцяє візуальну якість настільного класу на смартфонах завдяки тому, що прискорення штучного інтелекту покладено в основу графічного конвеєра, а не закріплено.

Нова архітектура, оголошена у вівторок у відділі новин Arm, інтегрує виділені нейронні прискорювачі безпосередньо в ядра шейдерів, дозволяючи нейронним навантаженням виконуватися разом із звичайною графікою та обчислювальними завданнями, спільним використанням системи пам’яті графічного процесора, когерентних кеш-пам’ятей і структур керування. Arm каже, що тісна інтеграція зменшує переміщення даних і підвищує ефективність — це критично важливий аспект у суворій системі живлення та теплової оболонки мобільного пристрою. Щоб дізнатися більше про останні розробки AI, слідкуйте за новинами AI Buzz Wire. останні розробки ШІ

Три нейронні технології для мобільних ігор

Mali G2-Ultra NX поставляється з трьома основними нейронними техніками:

Neural Super Sampling (NSS) реконструює зображення з вищою роздільною здатністю з візуалізацій з нижчою роздільною здатністю, поєднуючи часові дані з вбудованим згладжуванням, щоб скоротити обсяг звичайної роботи по візуалізації, необхідної для високоякісного фінального кадру.

Neural Frame Rate Upscaling (NFRU) генерує проміжні кадри, використовуючи дані про рух, глибину та відтворені кадри, підвищуючи частоту кадрів для більш плавного ігрового процесу — і, за словами Арма, підтримуючи триваліші мобільні ігрові сеанси зі швидкістю до 120 FPS.

Neural Super Sampling and Denoising (NSSD) поєднує нейронне масштабування з шумозаглушенням для покращення якості зображення у складних сценах із трасуванням променів зі складним освітленням і тінями.

Щоб продемонструвати конвеєр у виробництві, Arm і розробник ігор Sumo Digital створили вітрину під назвою Neural Dawn. Arm каже, що демонстрація досягає до 4 разів вищої продуктивності та до 70 відсотків нижчого трафіку зовнішньої пам’яті порівняно з рідним рендерингом, а також робить такі методи, як MegaLights Unreal Engine практичними на мобільному обладнанні.

Найбільше оновлення Mali ISA за сім поколінь

Окрім нейронного обладнання, G2-Ultra NX представляє новий механізм виконання, який Arm описує як найбільше оновлення архітектури набору інструкцій Mali за сім поколінь. Він забезпечує до удвічі більше регістрів на деформацію, даючи розробникам запас для багатших сцен і складніших ефектів, утримуючи стабільну частоту кадрів.

Архітектурні переваги перетворюються на вимірювані цифри, принаймні згідно з власними тестами Arm: до 24 відсотків вища продуктивність у тестах і на 14 відсотків вища ігрова продуктивність без ШІ порівняно з попереднім поколінням.

Трасування променів третього покоління

Трасування променів повертається для третього раунду. G2-Ultra NX оснащено апаратним блоком трасування променів Arm третього покоління, який, за словами компанії, підтримує більш складне освітлення, тіні, відображення та геометрію, скорочуючи трафік DRAM до 13 відсотків за провідними тестами трасування променів.

Нова апаратна підтримка Opacity Micromaps допомагає графічному процесору ефективніше обробляти складну прозору геометрію — листя, тканини та шаруваті поверхні. В одній демонстрації Arm використання Opacity Micromaps збільшило частоту кадрів на 30 відсотків і зменшило навантаження на трасування променів до 70 відсотків.

Чому штучний інтелект має значення

Оголошення відображає ширше переконання галузі в тому, що майбутнє графіки в реальному часі є гібридним: звичайний рендеринг для того, що можна обчислити дешево, нейронна реконструкція для всього іншого. Графічні процесори для настільних комп’ютерів від Nvidia, AMD і Intel нормалізували масштабування ШІ та генерацію кадрів на високому рівні; постачальники консолей використовують методи машинного навчання для подібних прибутків. Мобільні пристрої відстають, головним чином через те, що нейронні моделі конкурують за той самий бюджет потужності, що й сама гра.

Відповідь Арма є архітектурною: замість того, щоб розглядати штучний інтелект як окремий прискорювач, що конкурує за пропускну здатність пам’яті, G2-Ultra NX вбудовує нейронні блоки всередину шейдерних ядер, де вже знаходяться дані. Компанія стверджує, що це дозволяє нейронним методам переходити від технологічних демонстрацій до продуктивних ігор, у межах потужності телефону.

Цей аргумент пам’яті заслуговує на акцент. У мобільних системах-на-кристах трафік зовнішньої пам’яті є одним із найбільших споживачів як енергії, так і затримки — переміщення даних із графічного процесора й назад вимагає більше енергії, ніж обчислення на ньому. Завдяки повторному використанню когерентних кеш-пам’яті графічного процесора та керуючих структур для нейронних робочих навантажень, Arm стверджує, що дизайн уникає значної частини цього повернення. У цьому сенсі 70-відсоткове скорочення трафіку зовнішньої пам’яті в результаті демонстрації Neural Dawn є таким же показником часу автономної роботи, як і продуктивністю.

Компанія також працює над екосистемою. Оголошення Arm розглядає G2-Ultra NX як спосіб для розробників швидше запровадити нейронну графіку у виробництво, припускаючи, що еталонні реалізації, такі як Neural Dawn, призначені для адаптації студій, а не для одноразових маркетингових демонстрацій. Очікування користувачів мобільних пристроїв — багаті візуальні ефекти, більш плавна частота кадрів, більш захоплюючі сцени — продовжують зростати, і Arm робить ставку, що розробники приймуть будь-який конвеєр, який відповідатиме цим очікуванням у теплових межах.

Масштаб встановленої основи дає вагу кроку. Arm каже, що на сьогоднішній день було відвантажено понад 14 мільярдів графічних процесорів Mali, і хоча флагман G2-Ultra NX спочатку з’явиться в пристроях преміум-класу, технології нейронної графіки, як правило, просочуються в лінійках продуктів ліцензійних партнерів у наступних поколіннях.

Для розробників ігор повідомлення полягає в тому, що мобільні гравці все більше очікують візуальної точності та плавності, пов’язані з консолями, і що для задоволення цих очікувань у межах температурних обмежень телефону тепер потрібен штучний інтелект на кожному етапі конвеєра. Arm фактично оголосив, що ера розглядання нейронного рендерингу як опціонального для мобільних графічних процесорів закінчилася.

Будьте попереду ШІ

Слідкуйте за останніми розробками штучного інтелекту та новинами апаратного забезпечення штучного інтелекту, оскільки штучний інтелект на пристроях змінює індустрію чіпів.

Читати більше новин AI →