Nvidia ने त्याचा Groq 3 LPX इंटरएक्टिव्ह इन्फरन्स प्रवेगक पूर्ण उत्पादनात ठेवला आहे, कंपनीने 24 ऑगस्ट 2026 रोजी हॉट चिप्स कॉन्फरन्स दरम्यान घोषणा केली. चिप, Nvidia च्या Vera Rubin प्लॅटफॉर्मचा विस्तार, सक्रिय 100,000-टोकन संदर्भ विंडोसह मुक्त-स्रोत Gemma 4 31B मॉडेल चालवताना कृत्रिम विश्लेषण बेंचमार्किंगमध्ये प्रति सेकंद विक्रमी 3,400 आउटपुट टोकन वितरित केले - त्या मॉडेलसाठी आतापर्यंतची सर्वात वेगवान कामगिरी नोंदवली गेली.

Nvidia च्या अनुमान तज्ञ Groq च्या $20 अब्ज संपादनातून लाँच हा सर्वात महत्त्वाचा उत्पादन मैलाचा दगड आहे, हा करार कंपनी आता कमी-विलंब अनुमानांच्या मागणीनुसार भांडवल करण्यासाठी पुढे जात आहे. CNBC ने अहवाल दिला की Nvidia म्हणते की पहिले Groq रॅक वर्ष संपण्यापूर्वी ऑनलाइन असतील. या कथेच्या अधिक संदर्भासाठी, आमचे सध्या सुरू असलेले AI उद्योग कव्हरेज पहा.

टोकन जनरेशन स्पीड का महत्त्वाचा आहे

एजंटिक एआय सिस्टीम — कारणे सांगणारे प्रोग्राम्स, टूल्सवर कॉल करतात, कोड लिहितात आणि चाचणी करतात आणि शेकडो किंवा हजारो अनुमान पायऱ्यांवर पुनरावृत्ती करतात — मोठ्या प्रमाणात आउटपुट टोकन तयार करतात. ज्या गतीने ते टोकन तयार केले जातात, ज्याला इंटरॅक्टिव्हिटी किंवा डीकोड थ्रूपुट म्हणून ओळखले जाते, एजंट त्याच्या कामाची प्रत्येक पायरी किती लवकर पूर्ण करू शकतो हे निर्धारित करते.

Nvidia म्हणते की Groq 3 LPX जवळच्या पर्यायी प्लॅटफॉर्मपेक्षा एजंट आणि विलंब-संवेदनशील वर्कलोडसाठी 4x जलद प्रतिसाद देते. विषम उपयोजनांमध्ये, Vera Rubin NVL72 प्रणाली संदर्भ अंतर्ग्रहण आणि प्रीफिल गणना हाताळतात, तर Groq 3 LPX युनिट्स विलंब-संवेदनशील टोकन निर्मिती टप्प्यावर प्रक्रिया करतात.

"अनुमान हे AI चे वाढीचे इंजिन आहे," Nvidia चे संस्थापक आणि CEO जेन्सेन हुआंग यांनी घोषणेमध्ये सांगितले. "वेरा रुबिन एजंटिक एआयच्या युगासाठी डिझाइन केलेल्या वर्कलोड-ऑप्टिमाइझ केलेल्या एआय फॅक्टरी कॉन्फिगरेशनसह त्या दृष्टीचा विस्तार करते, अल्ट्राफास्ट टोकन जनरेशनसाठी LPX सह कार्यप्रदर्शन सीमा पुढे करते."

हार्डवेअरच्या आत

StorageReview च्या तांत्रिक विश्लेषणानुसार, प्रत्येक 2U लिक्विड-कूल्ड कंप्यूट ट्रेमध्ये होस्ट CPU, फॅब्रिक एक्सपेन्शन लॉजिक आणि DRAM सोबत सोळा Groq 3 LPU, तसेच BlueField-4 DPU किंवा ConnectX-9 नेटवर्क कार्ड असते. ट्रेमध्ये फ्रंट पॅनलवर 32 LPU चिप-टू-चिप ऑप्टिकल लिंक्स आणि 400Gb/s इथरनेट आहेत.

रॅक स्केलवर, Groq 3 LPX डिप्लॉयमेंटमध्ये हाय-स्पीड, डायरेक्ट चिप-टू-चिप इंटरकनेक्ट्सद्वारे जोडलेले 256 LP30 प्रवेगक समाविष्ट आहेत. Nvidia च्या व्यापक Vera Rubin AI फॅक्टरी इन्फ्रास्ट्रक्चरमध्ये रॅक स्लॉट आहेत, ज्याचे वर्णन कंपनीने आतापर्यंतचे सर्वात विस्तृत प्लॅटफॉर्म म्हणून केले आहे: BlueField-4 DPUs, Vera CPU रॅक, Vera BlueField-4 STXSP-Ectrumnet स्टोरेज आणि Spectrum6 नेटवर्कसह पाच उद्देश-निर्मित रॅक कॉन्फिगरेशनमध्ये सात स्वतंत्र चिप्स.

Nvidia ने 140,000-टोकन एजंटिक कोडींग वर्कलोडवर GB300 NVL72 च्या तुलनेत प्रति मेगावाट प्रति मेगावाट 30 पट टोकन थ्रूपुट वितरीत करत व्हेरा रुबिन NVL72 द्वारे त्याचे प्लॅटफॉर्म-स्तरीय कार्यप्रदर्शन दावे रीफ्रेश केले, प्रति-वापरकर्ता परस्परसंवाद लक्ष्य वाढल्यामुळे फायदा वाढतो.

तारांकनासह एक बेंचमार्क

मथळा 3,400 टोकन-प्रति-सेकंद आकृती लक्षात घेण्यासारखे एक सावध आहे. StorageReview ने निदर्शनास आणल्याप्रमाणे, Nvidia चा निकाल 21 ऑगस्ट रोजी खाजगी प्री-रिलीझ एंडपॉईंटवर मोजला गेला, तर लाइव्ह सर्व्हरलेस प्रोडक्शन एंडपॉइंट्सच्या तुलनेत प्रतिस्पर्धी संख्यांशी तुलना केली गेली. सामान्यतः उपलब्ध सेवांवरील वास्तविक-जागतिक कामगिरी रेकॉर्ड-सेटिंग बेंचमार्क कॉन्फिगरेशनपेक्षा भिन्न असू शकते.

तरीही, स्वतंत्र बेंचमार्किंग संस्थेने आर्टिफिशियल ॲनालिसिसने जेम्मा 4 31B साठी त्या संदर्भ लांबीवर आतापर्यंतचा सर्वात वेगवान मापन केलेला निकाल नोंदवला आणि मूळ दावा — तो उद्देशाने तयार केलेला सिलिकॉन अनुमानाच्या डीकोड टप्प्याला नाटकीयपणे गती देऊ शकतो — उद्योग एजंटिक वर्कलोडसाठी पुन्हा आर्किटेक्टिंग कसे करत आहे याच्याशी संरेखित करतो.

मेघ दत्तक घेणे सुरू होते

Nebius, Amsterdam-मुख्यालय असलेला AI क्लाउड, Groq 3 LPX तैनात करण्यासाठी वचनबद्ध करणारा पहिला प्रदाता आहे, तो नेबियस टोकन फॅक्टरी, त्याच्या उत्पादन अनुमान प्लॅटफॉर्ममध्ये आणण्याची योजना आखत आहे.

नेबियसचे मुख्य तंत्रज्ञान अधिकारी डॅनिला शतान म्हणाले, "जनरेशन हा निष्कर्षाचा टप्पा आहे जो AI प्रणाली प्रत्यक्षात किती प्रतिसाद देणारी आहे हे ठरवते आणि नेमके हेच NVIDIA Groq 3 LPX ला गती देण्यासाठी तयार केले आहे." "नेबियस टोकन फॅक्टरी द्वारे उत्पादनात आणणारा पहिला AI क्लाउड म्हणून, आम्ही खात्री करत आहोत की एजंटच्या लूपची प्रत्येक पायरी तात्काळ जाणवेल — त्याच API विकासकांनी आधीच वापरत आहोत, नवीन स्टॅकवर स्थलांतर न करता."

अनुमान प्रदाता Groq, आता Nvidia कुटुंबाचा भाग आहे, प्लॅटफॉर्मच्या सुरुवातीच्या अवलंबकर्त्यांपैकी एक असण्याची योजना आहे.

मोठे चित्र

पूर्ण-उत्पादन घोषणा एआय इन्फ्रास्ट्रक्चर मार्केटने प्रशिक्षणापासून अनुमानापर्यंत किती झपाट्याने चालविले आहे हे सूचित करते. एंटरप्रायझेस कच्च्या मॉडेल प्री-ट्रेनिंगमधून रिअल-टाइम तर्क आणि स्वायत्त एजंट ऑर्केस्ट्रेशनकडे बजेट बदलत असताना, टोकनचे अर्थशास्त्र - ते किती जलद आणि किती ऊर्जा खर्चावर तयार केले जाऊ शकते - हे केंद्रीय स्पर्धात्मक रणांगण बनले आहे.

Nvidia साठी, Groq 3 LPX त्याच्या एआय फॅक्टरी फ्रँचायझीचा बचाव अशा क्षणी करते जेव्हा क्लाउड प्रदाते आणि स्टार्टअप्सकडून सानुकूल सिलिकॉन समान एजंटिक अनुमान वर्कलोडचा पाठलाग करत असतात. CNBC ने नोंदवल्याप्रमाणे, या वर्षी ऑनलाइन येणारे रॅक, संपादन बंद झाल्यानंतर काही महिन्यांनंतर ग्राहकांच्या हातात प्रथम उत्पादन प्रणाली ठेवतील - सेमीकंडक्टर उद्योग मानकांद्वारे एक जलद एकत्रीकरण.

कंपनीने नवीन प्रणालींसाठी किंमत जाहीर केली नाही. Groq 3 LPX हे AI क्लाउड भागीदारांद्वारे केव्हा-आणि-उपलब्धतेच्या आधारावर ऑफर केले जाईल, Nebius त्याच्या विद्यमान API एंडपॉइंट्सद्वारे विकसकांना प्रवेश प्रदान करणारे पहिले असेल अशी अपेक्षा आहे.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →