এনভিডিয়া তার Groq 3 LPX ইন্টারেক্টিভ ইনফারেন্স অ্যাক্সিলারেটরকে সম্পূর্ণ উৎপাদনে রেখেছে, কোম্পানিটি হট চিপস সম্মেলনের সময় 24 আগস্ট, 2026-এ ঘোষণা করেছিল। চিপ, এনভিডিয়ার ভেরা রুবিন প্ল্যাটফর্মের একটি এক্সটেনশন, একটি সক্রিয় 100,000-টোকেন কনটেক্সট উইন্ডো সহ ওপেন-সোর্স জেম্মা 4 31B মডেল চালানোর সময় কৃত্রিম বিশ্লেষণ বেঞ্চমার্কিং-এ প্রতি সেকেন্ডে একটি রেকর্ড 3,400 আউটপুট টোকেন সরবরাহ করেছে — সেই মডেলের জন্য রেকর্ড করা সবচেয়ে দ্রুততম কর্মক্ষমতা।

এনভিডিয়ার ইনফারেন্স বিশেষজ্ঞ Groq-এর $20 বিলিয়ন অধিগ্রহণ থেকে লঞ্চটি এখনও পর্যন্ত সবচেয়ে উল্লেখযোগ্য পণ্যের মাইলফলক চিহ্নিত করে, একটি চুক্তি যা কোম্পানিটি এখন কম লেটেন্সি ইনফারেন্স বৃদ্ধির চাহিদা হিসাবে পুঁজি করে চলেছে৷ সিএনবিসি জানিয়েছে যে এনভিডিয়া বলেছে যে প্রথম গ্রোক র্যাকগুলি বছরের শেষের আগে অনলাইন হবে। এই গল্পের আরও প্রসঙ্গের জন্য, আমাদের চলমান AI শিল্প কভারেজ দেখুন।

কেন টোকেন জেনারেশনের গতি গুরুত্বপূর্ণ

এজেন্টিক এআই সিস্টেম - যে প্রোগ্রামগুলি কারণ, টুল কল করে, কোড লিখতে এবং পরীক্ষা করে এবং শত শত বা হাজার হাজার অনুমানের ধাপ জুড়ে পুনরাবৃত্তি করে - প্রচুর পরিমাণে আউটপুট টোকেন তৈরি করে। যে গতিতে এই টোকেনগুলি উত্পাদিত হয়, যা ইন্টারঅ্যাক্টিভিটি বা ডিকোড থ্রুপুট নামে পরিচিত, তা নির্ধারণ করে যে একজন এজেন্ট তার কাজের প্রতিটি ধাপ কত দ্রুত সম্পন্ন করতে পারে।

এনভিডিয়া বলে যে Groq 3 LPX নিকটতম বিকল্প প্ল্যাটফর্মের তুলনায় এজেন্ট এবং লেটেন্সি-সংবেদনশীল কাজের চাপের জন্য 4x দ্রুত প্রতিক্রিয়া প্রদান করে। ভিন্নধর্মী স্থাপনায়, ভেরা রুবিন NVL72 সিস্টেমগুলি কনটেক্সট ইনজেশন এবং প্রিফিল কম্পিউটেশন পরিচালনা করে, যখন Groq 3 LPX ইউনিট লেটেন্সি-সংবেদনশীল টোকেন জেনারেশন ফেজ প্রক্রিয়া করে।

এনভিডিয়ার প্রতিষ্ঠাতা এবং সিইও জেনসেন হুয়াং ঘোষণায় বলেছেন, "অনুমান হল AI এর বৃদ্ধির ইঞ্জিন।" "ভেরা রুবিন এজেন্টিক AI যুগের জন্য ডিজাইন করা কাজের চাপ-অপ্টিমাইজড এআই ফ্যাক্টরি কনফিগারেশনের সাথে সেই দৃষ্টিকে প্রসারিত করেছেন, অতি দ্রুত টোকেন জেনারেশনের জন্য LPX এর সাথে পারফরম্যান্স ফ্রন্টিয়ারকে এগিয়ে নিয়ে যাচ্ছে।"

হার্ডওয়্যারের ভিতরে

স্টোরেজরিভিউ-এর প্রযুক্তিগত বিশ্লেষণ অনুসারে, প্রতিটি 2U লিকুইড-কুলড কম্পিউট ট্রেতে হোস্ট সিপিইউ, ফ্যাব্রিক এক্সপেনশন লজিক এবং ডিআরএএম এর পাশাপাশি একটি ব্লুফিল্ড-4 ডিপিইউ বা একটি ConnectX-9 নেটওয়ার্ক কার্ডের পাশাপাশি ষোলটি Groq 3 এলপিইউ বহন করে। ট্রেটিতে 32 LPU চিপ-টু-চিপ অপটিক্যাল লিঙ্ক এবং সামনের প্যানেলে 400Gb/s ইথারনেট রয়েছে।

র্যাক স্কেলে, একটি Groq 3 LPX স্থাপনায় 256টি LP30 অ্যাক্সিলারেটর যুক্ত করা হয়েছে যা উচ্চ-গতির, সরাসরি চিপ-টু-চিপ ইন্টারকানেক্টের মাধ্যমে সংযুক্ত। র্যাকগুলি এনভিডিয়ার বৃহত্তর ভেরা রুবিন এআই ফ্যাক্টরি অবকাঠামোতে স্লট করে, যা কোম্পানিটি তার সর্বকালের সবচেয়ে বিস্তৃত প্ল্যাটফর্ম হিসাবে বর্ণনা করে: ব্লুফিল্ড-4 ডিপিইউ, ভেরা সিপিইউ র্যাক, ভেরা ব্লুফিল্ড-4 STX-এসটিএক্স-এসপি নেটওয়ার্ক এবং স্পেক্টারনেট স্টোরেজ সহ পাঁচটি উদ্দেশ্য-নির্মিত র্যাক কনফিগারেশন জুড়ে সাতটি বিচ্ছিন্ন চিপ।

Nvidia তার প্ল্যাটফর্ম-স্তরের পারফরম্যান্সের দাবিগুলিও রিফ্রেশ করেছে, এই বলে যে ভেরা রুবিন NVL72 প্রতি মেগাওয়াট প্রতি GB300 NVL72 এর তুলনায় 140,000-টোকেন এজেন্টিক কোডিং ওয়ার্কলোডের তুলনায় 30 গুণ পর্যন্ত টোকেন থ্রুপুট সরবরাহ করে, প্রতি-ব্যবহারকারীর ইন্টারঅ্যাক্টিভিটি লক্ষ্যমাত্রা বৃদ্ধির সাথে সাথে সুবিধা বৃদ্ধি পায়।

একটি তারকাচিহ্ন সহ একটি বেঞ্চমার্ক

শিরোনাম 3,400 টোকেন-প্রতি-সেকেন্ড চিত্রটি লক্ষণীয় একটি সতর্কতার সাথে আসে। StorageReview যেমন উল্লেখ করেছে, Nvidia-এর ফলাফল 21শে আগস্ট একটি প্রাইভেট-প্রি-রিলিজ এন্ডপয়েন্টে পরিমাপ করা হয়েছিল, যেখানে লাইভ সার্ভারলেস প্রোডাকশন এন্ডপয়েন্ট থেকে আসা প্রতিযোগী সংখ্যাগুলির সাথে তুলনা করা হয়েছিল। সাধারণভাবে উপলব্ধ পরিষেবাগুলিতে বাস্তব-বিশ্বের কর্মক্ষমতা রেকর্ড-সেটিং বেঞ্চমার্ক কনফিগারেশন থেকে আলাদা হতে পারে।

তারপরও, স্বাধীন বেঞ্চমার্কিং সংস্থা কৃত্রিম বিশ্লেষণ ফলাফলটিকে সেই প্রসঙ্গ দৈর্ঘ্যে জেমা 4 31B-এর জন্য পরিমাপ করা সবচেয়ে দ্রুততম হিসাবে রেকর্ড করেছে এবং অন্তর্নিহিত দাবি — যে উদ্দেশ্য-নির্মিত সিলিকন নাটকীয়ভাবে অনুমানের ডিকোড ফেজকে ত্বরান্বিত করতে পারে — এজেন্টিক কাজের চাপের জন্য কীভাবে শিল্প পুনরায় স্থাপত্য করছে তার সাথে সারিবদ্ধ।

মেঘ গ্রহণ শুরু হয়

Nebius, আমস্টারডাম-সদর দফতরে AI ক্লাউড, Groq 3 LPX মোতায়েন করার প্রতিশ্রুতি প্রদানকারী প্রথম প্রদানকারী, এটিকে নেবিয়াস টোকেন ফ্যাক্টরিতে আনার পরিকল্পনা করছে, এটি এর উৎপাদন অনুমান প্ল্যাটফর্ম।

"প্রজন্ম হল অনুমানের পর্যায় যা নির্ধারণ করে যে একটি AI সিস্টেম আসলে কতটা প্রতিক্রিয়াশীল, এবং ঠিক এটাই NVIDIA Groq 3 LPX কে ত্বরান্বিত করার জন্য তৈরি করা হয়েছে," বলেছেন নেবিয়াসের প্রধান প্রযুক্তি কর্মকর্তা ড্যানিলা শতান৷ "নেবিয়াস টোকেন ফ্যাক্টরির মাধ্যমে উৎপাদনে নিয়ে আসা প্রথম AI ক্লাউড হিসেবে, আমরা নিশ্চিত করছি যে একজন এজেন্টের লুপের প্রতিটি ধাপ তাৎক্ষণিক অনুভূত হয় — একই API ডেভেলপাররা ইতিমধ্যেই ব্যবহার করছেন, কোনো নতুন স্ট্যাকে কোনো স্থানান্তর ছাড়াই।"

অনুমান প্রদানকারী Groq, এখন এনভিডিয়া পরিবারের অংশ, প্লাটফর্মের প্রথম দিকের গ্রহণকারীদের মধ্যে থাকার পরিকল্পনা করেছে।

বড় ছবি

পূর্ণ-উৎপাদনের ঘোষণাটি ইঙ্গিত দেয় যে এআই পরিকাঠামোর বাজার প্রশিক্ষণ থেকে অনুমান পর্যন্ত কতটা তীব্রভাবে অগ্রসর হয়েছে। যেহেতু এন্টারপ্রাইজগুলি কাঁচা মডেলের প্রাক-প্রশিক্ষণ থেকে রিয়েল-টাইম যুক্তি এবং স্বায়ত্তশাসিত এজেন্ট অর্কেস্ট্রেশনের দিকে বাজেট স্থানান্তর করে, একটি টোকেনের অর্থনীতি — এটি কত দ্রুত তৈরি করা যেতে পারে এবং কী শক্তি খরচে — কেন্দ্রীয় প্রতিযোগিতামূলক যুদ্ধক্ষেত্রে পরিণত হয়েছে৷

এনভিডিয়ার জন্য, Groq 3 LPX তার AI ফ্যাক্টরি ফ্র্যাঞ্চাইজির একটি প্রতিরক্ষা এমন এক মুহুর্তে প্রসারিত করে যখন ক্লাউড প্রদানকারী এবং স্টার্টআপের কাস্টম সিলিকন একই এজেন্টিক ইনফারেন্স ওয়ার্কলোডগুলিকে তাড়া করে। এই বছর অনলাইনে আসছে র্যাকগুলি, যেমন CNBC রিপোর্ট করেছে, অধিগ্রহণ বন্ধ হওয়ার কয়েক মাস পরে গ্রাহকদের হাতে প্রথম উৎপাদন ব্যবস্থা রাখবে - সেমিকন্ডাক্টর শিল্পের মানগুলির দ্বারা একটি দ্রুত সংহতকরণ৷

কোম্পানি নতুন সিস্টেমের জন্য মূল্য প্রকাশ করেনি। Groq 3 LPX AI ক্লাউড অংশীদারদের মাধ্যমে কখন-এবং-যদি-উপলভ্য ভিত্তিতে অফার করা হবে, Nebius তার বিদ্যমান API এন্ডপয়েন্টগুলির মাধ্যমে ডেভেলপারদের অ্যাক্সেস দেওয়ার জন্য প্রথম হবে বলে আশা করা হচ্ছে।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →