Qualcomm, yalnızca 150 watt çekerken 870 TOPS'a kadar INT8 performansı ve 288 TFLOPS'a kadar FP16 hesaplama sağlayan bir veri merkezi çıkarım hızlandırıcısı olan Cloud AI 100 Ultra'yı piyasaya sürdü; bu, şu anda üretken yapay zeka çıkarımına hakim olan GPU'ların güç zarfının bir kısmıdır.

Qualcomm'un resmi veri merkezi ürün sayfasında listelenen ve lansman kapsamında ayrıntıları verilen kart, özellikle üretken yapay zeka ve büyük dil modeli iş yükleri için tasarlandı. Mobil çip devini, işletmelerin yapay zeka aracılarını, yardımcı pilotları ve erişimle artırılmış uygulamaları geniş ölçekte konuşlandırmasıyla talebin arttığı çıkarım pazarında doğrudan rakip olarak konumlandırıyor. Yapay zeka donanım yarışı hakkında daha fazla bağlam için Yapay zeka haberlerimize bakın.

Özellikler: Önce SRAM, İkinci olarak DRAM

Cloud AI 100 Ultra'nın kalbinde 64 AI çekirdeği ve 576 MB yerleşik SRAM bulunur. Qualcomm'un iddiası, her jetonu harici belleğe göndermek yerine, model ağırlıklarını ve aktivasyonlarını fiziksel olarak bilgi işlem birimlerine yakın tutmanın, bellek bant genişliğinde yaşayan ve ölen transformatör tabanlı modeller için kazanç sağlayacağı yönünde.

Kart, daha büyük modeller ve daha uzun bağlamlar için 16 şeritli PCIe Gen4 üzerinden bağlanan, 548 GB/sn bant genişliğine sahip 128 GB LPDDR4x bellek taşıyor. Bu kombinasyon (büyük kalıp üzeri SRAM ve mütevazı 150W güç tüketimi) kartın farkını ortaya koyuyor. Nvidia'nın veri merkezi GPU'ları genellikle 300 W ile 700 W arasında değişir ve çıkarım jetonla faturalandırıldığında her watt önemlidir ve veri merkezi gücü endüstrinin en çok tartışılan kaynağıdır.

Şirket, ürün materyallerinde "Cloud AI 100 Ultra, performansı ve maliyeti optimize edilmiş bir yapay zeka çıkarım çözümüdür" diyerek, bilgisayar görüşünden doğal dil işlemeye kadar çeşitli iş yüklerinde programlanabilirliği vurguladı.

Yazılım: OpenAI Uyumlu Bir Rampa

Veri merkezinde donanım hiçbir zaman Qualcomm'un sorunu olmadı; yazılım vardır. Şirket bu sorunu, sohbet robotları, yardımcı pilotlar ve yapay zeka aracıları oluşturmak için OpenAI uyumlu API'leri ortaya çıkaran bir yazılım katmanı olan AI Inference Suite ile ele alıyor.

Paket, sohbeti, görüntü oluşturmayı, çok modlu modelleri ve almayla artırılmış oluşturma (RAG) iş akışlarını destekler ve Kubernetes veya çıplak donanım kapsayıcıları aracılığıyla dağıtılır. Qualcomm aynı zamanda kullanıcı yönetimi ve yönetim araçları da sağlıyor; bu, ham hızlandırıcı tekliflerinde çoğu zaman eksik olan, ancak kurumsal BT ekiplerinin iş yüklerini şirket içinde taşırken ağır bir yük oluşturduğu, gösterişsiz bir eklenti.

OpenAI uyumlu API yüzeyi stratejik açıdan önemlidir: geliştiricilerin mevcut OpenAI'ye bağlı işlem hatlarını, yeniden yazma yerine bir yapılandırma değişikliğiyle Qualcomm donanımına yönlendirmesine olanak tanıyarak, bu pazardaki yerleşikliği koruyan anahtarlama maliyetini düşürür.

Tek Bir Liderin Bulunduğu Kalabalık Bir Saha

Qualcomm, yapay zeka donanım döngüsünün savaş alanı haline gelen bir çıkarım pazarına giriyor. Nvidia'nın L40S ve H100'ü hakim; AMD'nin MI300X'i ve Intel'in Gaudi 3'ü aynı iş yüklerini hedefliyor; Groq ve Cerebras'ın özel silikonları ham çıkarım hızı konusunda nişler yarattı.

Talep tarafı kapışmayı açıklıyor. AI aracılarına ve RAG işlem hatlarına hizmet vermek, tek bir kullanıcı oturumunun ürettiği model çağrılarının sayısını katlar ve bu çağrıların her biri, jeton başına mümkün olan en düşük maliyetle çözülmesi gereken bir çıkarım sorunudur. Hiper ölçekleyiciler bu sorunu çözmek için raflar dolusu amiral gemisi GPU satın alıyor; onların altındaki şirketler, elektrik sözleşmelerini yeniden müzakere etmeden, standart bir güç devresindeki standart bir sunucuya uyan donanım arıyorlar.

Qualcomm'un konuşması, en yüksek performanstan ziyade toplam sahip olma maliyetidir. Geniş ölçekte çıkarım yapan kuruluşlar için, güç tüketimi doğrudan işletme maliyetlerine akıyor ve 150 W'ta rekabetçi verim sağlayan bir kart, kaba kuvvet GPU'larının ekonomisini baltalıyor. Eğitim Nvidia'nın alanı olmaya devam ediyor - Ultra bu konuda herhangi bir iddiada bulunmuyor - ancak çıkarım, endüstrinin birim ekonomisinin gerçekte kararlaştırıldığı yerdir ve ister şirket içi bir kümede ister bir ortak yerleşim kafesinde olsun, çoğu işletmenin kendi başına yürüteceği iş yüküdür.

Yazılım ekosistemi zorlu bir mücadele olmaya devam ediyor. Nvidia'nın CUDA platformu çoğu yapay zeka geliştiricisi için hala varsayılan seçimdir ve OpenAI uyumlu API'ler giriş engelini azaltırken, özel çıkarım hatları için gereken yeniden çalışmayı ortadan kaldırmaz.

Qualcomm'un Ürün Yelpazesindeki Yeri

Ultra, Qualcomm'un çıkarım serisinin en üstünde yer alıyor; bu ürün aynı zamanda Cloud AI 80 Ultra (aynı 576 MB SRAM ile 618 TOPS'a kadar INT8), Cloud AI 100 Pro ve 75W güç zarflarıyla uç ve daha küçük ölçekli dağıtımları hedefleyen Cloud AI 100 Standard'ı da içeriyor.

Lansman, Qualcomm'un bulut ölçekli yapay zeka iş yükleri için geliştirmekte olduğu Dragonfly veri merkezi yol haritasının mevcut neslini temsil ediyor ve artık Qualcomm'a, maliyet, gecikme veya veri yönetişimi nedenleriyle üretken yapay zeka çıkarımını genel bulut yerine şirket içinde çalıştırmak isteyen şirketler için bir argüman sunuyor.

Bahis, Tek Cümleyle

Qualcomm, yapay zekanın bir avuç hiper ölçekleyiciden binlerce işletmeye doğru ilerlemesiyle kazanan çıkarım kartının en hızlısı değil, en verimli olanı olacağına bahse giriyor. Cloud AI 100 Ultra, silikondaki bu argümandır; geliştiricilerin watt'ı takip edip etmediği açık bir soru olmaya devam ediyor.

---

Yapay Zekanın Önünde Olun

En son yapay zeka haberlerini, analizlerini ve buluşlarını tek bir yerden alın.

Daha fazla AI haberini okuyun →