Qualcomm telah melancarkan Cloud AI 100 Ultra, pemecut inferens pusat data yang memberikan sehingga 870 TOPS prestasi INT8 dan 288 TFLOPS pengiraan FP16 sambil melukis hanya 150 watt — sebahagian kecil daripada sampul kuasa GPU yang kini mendominasi inferens AI generatif.
Kad itu, yang disenaraikan pada halaman produk pusat data rasmi Qualcomm dan diperincikan dalam liputan pelancaran, direka khusus untuk AI generatif dan beban kerja model bahasa yang besar. Ia meletakkan gergasi cip mudah alih itu sebagai pencabar langsung dalam pasaran inferens, di mana permintaan melonjak apabila perusahaan menggunakan ejen AI, copilot dan aplikasi yang dipertingkatkan semula secara berskala. Untuk lebih banyak konteks tentang perlumbaan perkakasan AI, lihat [liputan berita AI] kami(https://aibuzzwire.news).
Spesifikasi: SRAM Pertama, DRAM Kedua
Di tengah-tengah Cloud AI 100 Ultra ialah 64 teras AI dan 576 MB SRAM on-die. Pertaruhan Qualcomm ialah mengekalkan berat model dan pengaktifan secara fizikal dekat dengan unit pengiraan — dan bukannya mengalih keluar setiap token ke memori luaran — membayar untuk model berasaskan pengubah, yang hidup dan mati pada lebar jalur memori.
Kad itu masih membawa 128 GB memori LPDDR4x dengan lebar jalur 548 GB/s untuk model yang lebih besar dan konteks yang lebih panjang, disambungkan melalui PCIe Gen4 dengan 16 lorong. Gabungan itu — SRAM on-die yang besar serta cabutan kuasa 150W yang sederhana — ialah pembezaan kad. GPU pusat data Nvidia biasanya berjulat dari 300W hingga 700W, dan setiap watt penting apabila inferens dibilkan oleh token dan kuasa pusat data ialah sumber yang paling dipertikaikan dalam industri.
"Awan AI 100 Ultra ialah penyelesaian inferens AI yang dioptimumkan prestasi dan kos," kata syarikat itu dalam bahan produknya, menekankan kebolehprograman merentas beban kerja daripada penglihatan komputer kepada pemprosesan bahasa semula jadi.
Perisian: On-Ramp yang Serasi OpenAI
Perkakasan tidak pernah menjadi masalah Qualcomm dalam pusat data; perisian mempunyai. Syarikat itu menanganinya dengan AI Inference Suite, lapisan perisian yang mendedahkan API serasi OpenAI untuk membina chatbot, copilot dan ejen AI.
Suite ini menyokong sembang, penjanaan imej, model multimodal dan aliran kerja penjanaan dipertingkatkan semula (RAG), dan digunakan melalui Kubernetes atau bekas logam kosong. Qualcomm juga menghantar alat pengurusan dan pentadbiran pengguna — tambahan yang tidak menarik yang sering kekurangan tawaran pemecut mentah, tetapi yang amat berat oleh pasukan IT perusahaan apabila mereka memindahkan beban kerja secara dalaman.
Permukaan API yang serasi OpenAI penting secara strategik: ia membolehkan pembangun menunjukkan saluran paip terikat OpenAI sedia ada pada perkakasan Qualcomm dengan perubahan konfigurasi dan bukannya penulisan semula, mengurangkan kos penukaran yang telah melindungi penyandang jawatan dalam pasaran ini.
Padang Sesak Dengan Seorang Pemimpin Yang Jelas
Qualcomm memasuki pasaran inferens yang telah menjadi medan pertempuran kitaran perkakasan AI. L40S dan H100 Nvidia mendominasi; MI300X AMD dan Gaudi 3 Intel menyasarkan beban kerja yang sama; dan silikon khusus daripada Groq dan Cerebras telah mengukir niche pada kelajuan inferens mentah.
Bahagian permintaan menerangkan perebutan itu. Melayan ejen AI dan saluran paip RAG menggandakan bilangan panggilan model yang dihasilkan oleh satu sesi pengguna, dan setiap satu daripada panggilan tersebut ialah masalah inferens untuk diselesaikan pada kos setiap token yang paling rendah. Penskala besar membeli rak GPU perdana untuk mengendalikannya; perusahaan di bawahnya sedang mencari perkakasan yang sesuai dengan pelayan standard, pada litar kuasa standard, tanpa merundingkan semula kontrak elektrik mereka.
Padang Qualcomm ialah jumlah kos pemilikan dan bukannya prestasi puncak. Untuk perusahaan yang menjalankan inferens secara berskala, penggunaan kuasa mengalir terus ke dalam kos operasi, dan kad yang menyampaikan daya pemprosesan yang kompetitif pada 150W mengurangkan ekonomi GPU kekerasan. Latihan kekal sebagai domain Nvidia — Ultra tidak membuat sebarang tuntutan mengenainya — tetapi inferens ialah tempat ekonomi unit industri sebenarnya diputuskan, dan ia adalah beban kerja kebanyakan perusahaan akan menjalankan sendiri, sama ada dalam kelompok di premis atau sangkar kolokasi.
Ekosistem perisian kekal sebagai perjuangan yang sukar. Platform CUDA Nvidia masih menjadi pilihan lalai untuk kebanyakan pembangun AI, dan sementara API yang serasi OpenAI merendahkan halangan kepada kemasukan, mereka tidak menghapuskan kerja semula yang diperlukan untuk saluran paip inferens tersuai.
Di mana Ia Sesuai dalam Barisan Qualcomm
Ultra berada di bahagian atas barisan inferens Qualcomm, yang turut merangkumi Cloud AI 80 Ultra (sehingga 618 TOPS INT8 dengan 576 MB SRAM yang sama), Cloud AI 100 Pro dan Cloud AI 100 Standard, yang menyasarkan penggunaan kelebihan dan skala lebih kecil dengan sampul kuasa 75W.
Pelancaran ini mewakili generasi semasa pelan hala pusat data Dragonfly Qualcomm, yang telah dibangunkan oleh syarikat untuk beban kerja AI skala awan — dan yang kini memberikan Qualcomm hujah untuk perusahaan yang ingin menjalankan inferens AI generatif di premis dan bukannya dalam awan awam, sama ada atas sebab kos, kependaman atau tadbir urus data.
Pertaruhan, dalam Satu Ayat
Qualcomm bertaruh bahawa apabila AI bergerak daripada segelintir hyperscaler kepada beribu-ribu perusahaan, kad inferens yang menang bukanlah yang terpantas tetapi yang paling cekap. Cloud AI 100 Ultra ialah hujah dalam silikon; sama ada pemaju mengikut watt masih menjadi persoalan terbuka.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
