Nvidia telah memberi tahu beberapa pelanggan terbesarnya bahwa harga server yang berisi chip AI-nya akan naik lebih dari 15 persen pada sistem yang dikirimkan mulai awal tahun 2027, menurut Bloomberg – kenaikan harga besar kedua dalam waktu kurang dari setahun, setelah kenaikan sekitar 30 persen di hampir semua lini produk pada bulan Juli.
Peringatan tersebut, yang dikomunikasikan melalui produsen server yang merakit sistem untuk operator pusat data besar, terjadi pada saat yang sulit bagi industri AI: perusahaan sedang bergulat dengan biaya pembangunan infrastruktur besar-besaran, dan pasar memori – yang disebut-sebut sebagai pendorong peningkatan tersebut – tidak menunjukkan tanda-tanda mereda. Nvidia dijadwalkan untuk melaporkan hasil kuartalannya pada tanggal 26 Agustus, di mana para analis memperkirakan rincian baru mengenai permintaan, pasokan, dan biaya. For more context on this story, see our ongoing artificial intelligence updates.
Sistem mana yang terpengaruh
Menurut laporan tersebut, peningkatan tersebut akan berlaku untuk server yang dibangun berdasarkan platform andalan Nvidia, Grace Blackwell, dan generasi Vera Rubin yang akan datang. Kenaikannya tidak akan seragam: besarnya penyesuaian bergantung pada generasi silikon Nvidia yang terlibat serta jumlah dan konfigurasi memori di setiap sistem.
Produsen server yang melayani perusahaan teknologi besar – termasuk Microsoft, Google, dan Oracle – dilaporkan telah mulai memberi tahu pelanggan tentang perubahan harga yang akan datang untuk pengiriman sistem pada awal tahun 2027.
Memori adalah pelakunya
Penyebab utamanya adalah melonjaknya biaya memori. Sistem AI berperforma tinggi memerlukan memori bandwidth tinggi dalam jumlah besar, dan permintaan dari perluasan pusat data telah menyebabkan harga HBM dan LPDDR5 naik. Produsen memori Samsung Electronics, SK Hynix, dan Micron Technology semuanya menghadapi permintaan yang kuat karena kapasitas semikonduktor semakin diarahkan ke memori bandwidth tinggi dan produk komputasi canggih lainnya.
Gaurav Gupta, wakil presiden dan analis di Gartner, mengatakan peningkatan tersebut mencerminkan tekanan di seluruh rantai pasokan AI, bukan hanya RAM. “Harga memori naik, terutama HBM dan LPDDR5, namun ada aspek lain, seperti wafer pengecoran terdepan, pengemasan canggih, dan kekurangan komponen lainnya,” katanya kepada CIO.com, seraya menambahkan bahwa masalah tersebut menghasilkan waktu tunggu yang lebih lama, “yang biasanya berarti harga yang lebih tinggi.”
Dan dia tidak mengharapkan kesembuhan dalam waktu dekat. “Dalam kondisi permintaan yang kuat dan pasokan yang terbatas saat ini, kami memperkirakan situasi ini akan terus berlanjut dalam jangka waktu dekat hingga menengah,” kata Gupta – yang berarti biaya yang lebih tinggi baik bagi organisasi yang menggunakan server mereka sendiri maupun bagi mereka yang menyewa komputer di cloud.
Sedikit pilihan bagi pembeli
Bagi CIO, kalkulusnya tidak menarik. Konsultan dan analis mengatakan perusahaan tidak mempunyai pilihan selain menerima bahwa harga infrastruktur AI akan terus meningkat, dan beralih pemasok – bahkan jika memungkinkan – tidak akan menghindari kenaikan tersebut, karena biaya memori dan komponen mempengaruhi seluruh pasar.
Scott Bickley, seorang penasihat di Info-Tech Research Group, berpendapat bahwa Nvidia sebenarnya menerima sebagian dari dampak tersebut. Perhitungannya menunjukkan bahwa perusahaan tersebut kemungkinan akan memakan sebagian dari kenaikan biayanya dan hanya membebankan sebagian kecilnya kepada pelanggan terbesarnya. Namun dia berterus terang tentang leverage yang dimiliki pembeli: "Biaya beban kerja per token turun sementara biaya perangkat keras dan infrastruktur yang mendasarinya meningkat," katanya. “Jika Anda secara langsung membangun klaster Anda sendiri, ini adalah peningkatan otomatis ke solusi yang sudah sangat mahal. Jika Anda membeli perangkat keras sendiri, Anda harus menghabiskannya. Anda tidak akan bernegosiasi untuk keluar dari masalah ini.”
Ada satu hal yang menarik dari Bicley: harga per token untuk model AI tampaknya sedang turun, yang memberikan pembeli cara untuk mengurangi inflasi perangkat keras dengan merancang beban kerja yang tidak terlalu bergantung pada kapasitas memori mentah.
Mendapatkan lebih banyak manfaat dari apa yang sudah Anda miliki
Strategi tersebut – mendapatkan lebih banyak manfaat dari perangkat keras yang ada – adalah tempat berkumpulnya beberapa analis. Bickley menunjuk pada teknik seperti perutean model, kompresi, dan pemrosesan batch sebagai cara untuk meningkatkan pemanfaatan cluster yang sudah ada dalam layanan.
Flavio Villanustre, CISO untuk LexisNexis Risk Solutions Group, setuju bahwa tekanan pada dasarnya adalah masalah pasokan dan permintaan yang akan berhenti ketika produksi memori meningkat untuk memenuhi permintaan yang didorong oleh AI – tetapi dia tidak melihat hal itu akan terjadi dalam beberapa bulan ke depan. Sementara itu, ia mencatat, beberapa vendor model AI mengadaptasi model mereka agar berjalan lebih baik di lingkungan dengan memori terbatas. Dia menunjuk pada Gemma E4B Google dan model serupa, yang menggunakan pendekatan berjenjang hierarki yang hanya menarik bagian-bagian penting dari suatu model ke dalam memori daripada menyimpan seluruh model dalam RAM.
Mike Wilkes, CISO perusahaan di Aikido Security, berpendapat bahwa kenaikan harga dapat memberikan manfaat jika memaksa arsitektur yang lebih disiplin. Perusahaan-perusahaan telah menghabiskan beberapa tahun terakhir memperlakukan token model frontier sebagai “utilitas elastis yang tak terhingga,” katanya – merutekan beban kerja ke model terbesar terlepas dari apakah tugas tersebut memerlukan pemikiran tingkat frontier. Arsitektur yang tepat semakin bersifat hybrid: menyisihkan sekitar 10 persen konsumsi untuk model frontier pada permasalahan yang benar-benar membutuhkannya, sambil mendorong klasifikasi, ekstraksi, peringkasan, dan tindakan agen rutin menuju model bahasa kecil dan model bobot terbuka yang berjalan pada infrastruktur yang dikontrol perusahaan.
“Hal ini memberikan CIO pengaruh terhadap pencungkilan harga atau penetapan harga secara sepihak,” kata Wilkes.
Sinyal inflasi bagi perekonomian AI
Peningkatan ini juga merupakan sinyal mengenai arah dampak ledakan AI. Ketika harga memori, wafer, dan kemasan meningkat, inflasi menyebar dari pembuat chip ke vendor server, ke penyedia cloud, dan pada akhirnya ke perusahaan yang menggunakan AI. Dengan laporan pendapatan Nvidia yang akan dirilis pada tanggal 26 Agustus, pembeli dan investor akan memperhatikan seberapa besar tekanan biaya yang diserap perusahaan – dan seberapa besar biaya yang dikeluarkan ke sektor hilir.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
