Firma Arm zaprezentowała Mali G2-Ultra NX, pierwszy procesor graficzny w rodzinie Mali zbudowany specjalnie pod kątem grafiki neuronowej, obiecujący jakość wizualną klasy desktopowej na smartfonach, umieszczając akcelerację AI w sercu potoku graficznego, a nie ją dokręcając.

Ogłoszona we wtorek w newsroomie Arma, nowa architektura integruje dedykowane akceleratory neuronowe bezpośrednio w rdzeniach shaderów, umożliwiając obciążenie neuronowe równoległe do konwencjonalnych zadań graficznych i obliczeniowych, jednocześnie współdzieląc system pamięci GPU, spójne pamięci podręczne i struktury sterujące. Arm twierdzi, że ścisła integracja ogranicza przepływ danych i poprawia wydajność, co jest kluczowym czynnikiem w kontekście ścisłych parametrów mocy i temperatury urządzenia mobilnego. Aby uzyskać więcej informacji na temat najnowszych osiągnięć AI, śledź bieżące relacje AI Buzz Wire. najnowsze osiągnięcia sztucznej inteligencji

Trzy technologie neuronowe do gier mobilnych

Mali G2-Ultra NX jest dostarczany z trzema głównymi technikami neuronowymi:

Neural Super Sampling (NSS) rekonstruuje obrazy o wyższej rozdzielczości z renderów o niższej rozdzielczości, łącząc dane tymczasowe ze zintegrowanym wygładzaniem krawędzi, aby zmniejszyć ilość konwencjonalnych prac renderujących potrzebnych do uzyskania wysokiej jakości końcowej klatki.

Funkcja Neural Frame Rate Upscaling (NFRU) generuje klatki pośrednie na podstawie ruchu, głębi i danych wyrenderowanych klatek, zwiększając liczbę klatek na sekundę w celu zapewnienia płynniejszej rozgrywki – a także, według Arma, obsługując dłuższe sesje gier mobilnych z prędkością do 120 klatek na sekundę.

Funkcja Neural Super Sampling and Denoising (NSSD) łączy skalowanie neuronowe z odszumianiem, aby poprawić jakość obrazu w wymagających scenach wykorzystujących śledzenie promieni ze złożonym oświetleniem i cieniami.

Aby zademonstrować przebieg produkcji, twórca Arm i gier Sumo Digital stworzył prezentację o nazwie Neural Dawn. Arm twierdzi, że demo zapewnia do 4 razy wyższą wydajność i do 70 procent mniejszy ruch w pamięci zewnętrznej w porównaniu z renderowaniem natywnym, a także sprawia, że ​​techniki takie jak MegaLights z Unreal Engine są praktyczne na sprzęcie mobilnym.

Największa aktualizacja Mali ISA od siedmiu pokoleń

Poza sprzętem neuronowym, G2-Ultra NX wprowadza nowy silnik wykonawczy, który Arm opisuje jako największe ulepszenie architektury zestawu instrukcji Mali od siedmiu pokoleń. Zapewnia do dwóch razy więcej rejestrów na warp, dając twórcom swobodę w tworzeniu bogatszych scen i bardziej złożonych efektów przy jednoczesnym utrzymaniu stałej liczby klatek na sekundę.

Korzyści architektoniczne przekładają się na wymierne liczby, przynajmniej według własnych testów porównawczych ARM: do 24 procent wyższa wydajność w testach i o 14 procent wyższa wydajność w grach bez sztucznej inteligencji w porównaniu z poprzednią generacją.

Śledzenie promieni trzeciej generacji

Ray tracing powraca w trzeciej rundzie. G2-Ultra NX jest wyposażony w sprzętową jednostkę ray tracingu trzeciej generacji firmy Arm, która według firmy obsługuje bardziej złożone oświetlenie, cienie, odbicia i geometrię, jednocześnie zmniejszając ruch DRAM nawet o 13 procent w porównaniu z wiodącymi testami porównawczymi ray tracingu.

Nowa sprzętowa obsługa mikromap Opacity pomaga procesorowi graficznemu skuteczniej obsługiwać skomplikowaną przezroczystą geometrię – liście, tkaniny i powierzchnie warstwowe. W jednej z demonstracji Arma użycie Opacity Micromaps zwiększyło liczbę klatek na sekundę o 30 procent i zmniejszyło obciążenie związane ze śledzeniem promieni nawet o 70 procent.

Dlaczego grafika natywna AI ma znaczenie

Oświadczenie odzwierciedla szersze przekonanie branży, że przyszłość grafiki czasu rzeczywistego jest hybrydowa: konwencjonalne renderowanie tego, co można tanio obliczyć, rekonstrukcja neuronowa wszystkiego innego. Procesory graficzne do komputerów stacjonarnych firm Nvidia, AMD i Intel znormalizowały skalowanie AI i generowanie klatek na najwyższym poziomie; dostawcy konsol korzystają z technik uczenia maszynowego, aby uzyskać podobne korzyści. Urządzenia mobilne pozostają w tyle, głównie dlatego, że modele neuronowe konkurują o ten sam budżet mocy, co sama gra.

Odpowiedź Arma jest architektoniczna: zamiast traktować sztuczną inteligencję jako oddzielny akcelerator konkurujący o przepustowość pamięci, G2-Ultra NX osadza jednostki neuronowe w rdzeniach shaderów, w których już znajdują się dane. Firma twierdzi, że pozwala to technikom neuronowym przenieść się z wersji demonstracyjnych technologii do gier produkcyjnych w ramach mocy telefonu.

Ten argument dotyczący pamięci zasługuje na podkreślenie. W systemach mobilnych typu „system-on-chip” ruch pamięci zewnętrznej jest jednym z największych konsumentów energii i opóźnień — przenoszenie danych z procesora graficznego i z powrotem kosztuje więcej energii niż przetwarzanie na nim. Arm twierdzi, że poprzez ponowne wykorzystanie spójnych pamięci podręcznych i struktur kontrolnych procesora graficznego do obsługi obciążeń neuronowych, projekt pozwala uniknąć dużej części tej operacji w obie strony. Zmniejszenie o 70 procent ruchu pamięci zewnętrznej w wersji demonstracyjnej Neural Dawn jest w tym sensie zarówno kwestią czasu pracy baterii, jak i wydajności.

Firma wykorzystuje także grę ekosystemową. Oświadczenie Arm przedstawia G2-Ultra NX jako sposób dla programistów na szybsze wprowadzenie grafiki neuronowej do produkcji, co sugeruje, że implementacje referencyjne, takie jak Neural Dawn, mają być raczej projektami, które studia mogą dostosować, a nie jednorazowymi demonstracjami marketingowymi. Oczekiwania użytkowników mobilnych — bogatsza grafika, płynniejsza liczba klatek na sekundę, bardziej wciągające sceny — wciąż rosną, a Arm obstawia, że ​​programiści przyjmą dowolny rurociąg, który spełni te oczekiwania w ramach ograniczeń termicznych.

Skala zainstalowanej podstawy podaje wagę podziałki. Arm twierdzi, że do tej pory wysłano ponad 14 miliardów procesorów graficznych Mali i chociaż flagowy G2-Ultra NX pojawi się jako pierwszy w urządzeniach premium, techniki grafiki neuronowej mają tendencję do rozpowszechniania się w liniach produktów partnerów licencyjnych w kolejnych generacjach.

Dla twórców gier wiadomość jest taka, że ​​gracze mobilni coraz bardziej oczekują wierności wizualnej i płynności charakterystycznej dla konsol, a spełnienie tych oczekiwań w ramach ograniczeń termicznych telefonu wymaga obecnie sztucznej inteligencji na każdym etapie prac. Arm skutecznie oświadczył, że era traktowania renderowania neuronowego jako opcjonalnego dla mobilnych procesorów graficznych dobiegła końca.

Wyprzedź sztuczną inteligencję

Śledź najnowsze osiągnięcia AI i aktualności dotyczące sprzętu związanego ze sztuczną inteligencją, ponieważ sztuczna inteligencja w urządzeniach zmienia branżę chipów.

Przeczytaj więcej aktualności o sztucznej inteligencji →