Qualcomm telah meluncurkan Cloud AI 100 Ultra, akselerator inferensi pusat data yang menghadirkan kinerja INT8 hingga 870 TOPS dan komputasi FP16 288 TFLOPS dengan daya hanya 150 watt — sebagian kecil dari daya yang dimiliki GPU yang saat ini mendominasi inferensi AI generatif.
Kartu tersebut, yang tercantum di halaman produk pusat data resmi Qualcomm dan dirinci dalam cakupan peluncuran, dirancang khusus untuk AI generatif dan beban kerja model bahasa yang besar. Hal ini menempatkan raksasa chip seluler ini sebagai penantang langsung di pasar inferensi, di mana permintaan melonjak seiring perusahaan menerapkan agen AI, kopilot, dan aplikasi yang ditambah pengambilan dalam skala besar. Untuk konteks lebih lanjut mengenai persaingan perangkat keras AI, lihat liputan berita AI.
Spesifikasi: SRAM Pertama, DRAM Kedua
Inti dari Cloud AI 100 Ultra adalah 64 inti AI dan SRAM on-die sebesar 576 MB. Taruhan Qualcomm adalah menjaga bobot model dan aktivasi secara fisik dekat dengan unit komputasi — daripada memindahkan setiap token ke memori eksternal — akan bermanfaat bagi model berbasis transformator, yang hidup dan mati pada bandwidth memori.
Kartu ini masih membawa memori LPDDR4x 128 GB dengan bandwidth 548 GB/s untuk model yang lebih besar dan konteks yang lebih panjang, terhubung melalui PCIe Gen4 dengan 16 jalur. Kombinasi tersebut — SRAM on-die yang besar ditambah konsumsi daya 150W yang sederhana — adalah pembeda kartu ini. GPU pusat data Nvidia biasanya berkisar antara 300W hingga 700W, dan setiap watt penting ketika inferensi dibebankan oleh token dan daya pusat data adalah sumber daya yang paling diperebutkan di industri.
“Cloud AI 100 Ultra adalah solusi inferensi AI dengan kinerja dan biaya yang optimal,” kata perusahaan tersebut dalam materi produknya, menekankan kemampuan program di seluruh beban kerja mulai dari visi komputer hingga pemrosesan bahasa alami.
Perangkat Lunak: On-Ramp yang Kompatibel dengan OpenAI
Perangkat keras tidak pernah menjadi masalah Qualcomm di pusat data; perangkat lunak memiliki. Perusahaan mengatasinya dengan AI Inference Suite, lapisan perangkat lunak yang mengekspos API yang kompatibel dengan OpenAI untuk membangun chatbot, kopilot, dan agen AI.
Rangkaian ini mendukung alur kerja chat, pembuatan gambar, model multimodal, dan generasi augmented pengambilan (RAG), dan diterapkan melalui Kubernetes atau container bare-metal. Qualcomm juga mengirimkan alat manajemen dan administrasi pengguna – sebuah tambahan yang tidak menarik yang sering kali tidak dimiliki oleh akselerator mentah, namun merupakan alat yang sangat dipertimbangkan oleh tim TI perusahaan ketika mereka memindahkan beban kerja secara internal.
Permukaan API yang kompatibel dengan OpenAI memiliki arti penting secara strategis: hal ini memungkinkan pengembang mengarahkan pipeline yang terikat OpenAI ke perangkat keras Qualcomm dengan perubahan konfigurasi, bukan penulisan ulang, sehingga menurunkan biaya peralihan yang telah melindungi petahana di pasar ini.
Lapangan yang Ramai Dengan Satu Pemimpin Yang Jelas
Qualcomm memasuki pasar inferensi yang telah menjadi medan pertempuran siklus perangkat keras AI. L40S dan H100 Nvidia mendominasi; MI300X AMD dan Gaudi 3 Intel menargetkan beban kerja yang sama; dan silikon khusus dari Groq dan Cerebras telah menciptakan ceruk pada kecepatan inferensi mentah.
Sisi permintaan menjelaskan perebutan ini. Melayani agen AI dan pipeline RAG melipatgandakan jumlah panggilan model yang dihasilkan oleh satu sesi pengguna, dan setiap panggilan tersebut merupakan masalah inferensi yang harus diselesaikan dengan biaya per token serendah mungkin. Hyperscaler membeli rak GPU andalan untuk menanganinya; perusahaan-perusahaan di bawah mereka mencari perangkat keras yang sesuai dengan server standar, pada sirkuit listrik standar, tanpa menegosiasikan ulang kontrak listrik mereka.
Penawaran Qualcomm adalah total biaya kepemilikan, bukan kinerja puncak. Untuk perusahaan yang menjalankan inferensi dalam skala besar, konsumsi daya mengalir langsung ke biaya operasional, dan kartu yang memberikan throughput kompetitif pada 150W mengurangi keekonomian GPU brute force. Pelatihan tetap menjadi domain Nvidia – Ultra tidak membuat klaim mengenai hal tersebut – namun inferensi adalah tempat unit ekonomi industri benar-benar diputuskan, dan ini adalah beban kerja yang akan dijalankan sendiri oleh sebagian besar perusahaan, baik dalam klaster lokal atau kandang kolokasi.
Ekosistem perangkat lunak masih merupakan perjuangan berat. Platform CUDA Nvidia masih menjadi pilihan default bagi sebagian besar pengembang AI, dan meskipun API yang kompatibel dengan OpenAI menurunkan hambatan untuk masuk, platform tersebut tidak menghilangkan pengerjaan ulang yang diperlukan untuk saluran inferensi khusus.
Dimana Cocok dengan Jajaran Qualcomm
Ultra berada di urutan teratas jajaran inferensi Qualcomm, yang juga mencakup Cloud AI 80 Ultra (hingga 618 TOPS INT8 dengan SRAM 576 MB yang sama), Cloud AI 100 Pro, dan Cloud AI 100 Standard, yang menargetkan penerapan edge dan skala lebih kecil dengan selubung daya 75W.
Peluncuran ini mewakili peta jalan pusat data Qualcomm Dragonfly generasi terkini, yang telah dikembangkan oleh perusahaan untuk beban kerja AI berskala cloud – dan kini menjadi argumen Qualcomm bagi perusahaan-perusahaan yang ingin menjalankan inferensi AI generatif secara lokal dibandingkan di cloud publik, baik karena alasan biaya, latensi, atau tata kelola data.
Taruhan, dalam Satu Kalimat
Qualcomm bertaruh bahwa ketika AI beralih dari segelintir hyperscaler ke ribuan perusahaan, kartu inferensi yang menang bukanlah yang tercepat namun yang paling efisien. Cloud AI 100 Ultra adalah argumen dalam silikon; apakah pengembang mengikuti watt tetap menjadi pertanyaan terbuka.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
