Qualcomm 128GB মেমরি এবং 870 TOPS সহ Cloud AI 100 Ultra: 150W ইনফারেন্স কার্ড লঞ্চ করেছে

Qualcomm Cloud AI 100 Ultra চালু করেছে, একটি ডেটা সেন্টার ইনফারেন্স অ্যাক্সিলারেটর যা INT8 পারফরম্যান্সের 870 TOPS এবং FP16 কম্পিউটের 288 TFLOPS পর্যন্ত প্রদান করে যখন মাত্র 150 ওয়াট অঙ্কন করে — GPU গুলির পাওয়ার খামের একটি ভগ্নাংশ যা বর্তমানে রেফারেন্স জেনারেটিভের উপর আধিপত্য করে।

Qualcomm-এর অফিসিয়াল ডেটা সেন্টার প্রোডাক্ট পেজে তালিকাভুক্ত এবং লঞ্চ কভারেজে বিশদভাবে উল্লেখ করা কার্ডটি বিশেষভাবে জেনারেটিভ এআই এবং বৃহৎ ভাষার মডেল ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে। এটি মোবাইল চিপ জায়ান্টকে অনুমান বাজারে একটি সরাসরি চ্যালেঞ্জার হিসাবে অবস্থান করে, যেখানে এন্টারপ্রাইজগুলি এআই এজেন্ট, কপিলট এবং পুনরুদ্ধার-বর্ধিত অ্যাপ্লিকেশনগুলিকে স্কেলে মোতায়েন করার কারণে চাহিদা বাড়ছে৷ AI হার্ডওয়্যার রেস সম্পর্কে আরও প্রসঙ্গের জন্য, আমাদের AI নিউজ কভারেজ দেখুন।

বিশেষত্ব: SRAM প্রথম, DRAM দ্বিতীয়

ক্লাউড AI 100 Ultra-এর কেন্দ্রস্থলে রয়েছে 64 AI কোর এবং 576 MB অন-ডাই SRAM। কোয়ালকমের বাজি হল যে মডেলের ওজন এবং অ্যাক্টিভেশনগুলিকে শারীরিকভাবে কম্পিউট ইউনিটের কাছাকাছি রাখা — প্রতিটি টোকেনকে বাহ্যিক মেমরিতে শাটল করার পরিবর্তে — ট্রান্সফরমার-ভিত্তিক মডেলগুলির জন্য অর্থ প্রদান করে, যা মেমরি ব্যান্ডউইথের উপর বেঁচে থাকে এবং মারা যায়।

কার্ডটি এখনও 128 GB LPDDR4x মেমরি বহন করে যার সাথে 548 GB/s ব্যান্ডউইথ বড় মডেল এবং দীর্ঘ প্রসঙ্গগুলির জন্য, PCIe Gen4 এর সাথে 16 লেনের সাথে সংযুক্ত। সেই সংমিশ্রণ — বড় অন-ডাই এসআরএএম এবং একটি পরিমিত 150W পাওয়ার ড্র — কার্ডের পার্থক্যকারী। এনভিডিয়ার ডেটা সেন্টারের জিপিইউ সাধারণত 300W থেকে 700W পর্যন্ত হয়ে থাকে এবং টোকেন দ্বারা অনুমান করা হলে প্রতিটি ওয়াট গুরুত্বপূর্ণ এবং ডেটা সেন্টারের শক্তি হল শিল্পের সবচেয়ে প্রতিদ্বন্দ্বিতাপূর্ণ সম্পদ।

"ক্লাউড এআই 100 আল্ট্রা হল একটি পারফরম্যান্স- এবং খরচ-অপ্টিমাইজ করা AI অনুমান সমাধান," কোম্পানিটি তার পণ্য সামগ্রীতে বলেছে, কম্পিউটার দৃষ্টি থেকে প্রাকৃতিক ভাষা প্রক্রিয়াকরণ পর্যন্ত কাজের লোড জুড়ে প্রোগ্রামেবিলিটির উপর জোর দেয়৷

সফ্টওয়্যার: একটি OpenAI- সামঞ্জস্যপূর্ণ অন-র‌্যাম্প

ডাটা সেন্টারে হার্ডওয়্যার কখনোই কোয়ালকমের সমস্যা ছিল না; সফটওয়্যার আছে। কোম্পানিটি তার AI ইনফারেন্স স্যুট, একটি সফ্টওয়্যার স্তর যা চ্যাটবট, কপিলট এবং এআই এজেন্ট তৈরির জন্য OpenAI- সামঞ্জস্যপূর্ণ API গুলিকে উন্মোচিত করে তার সাথে সমাধান করছে।

স্যুটটি চ্যাট, ইমেজ জেনারেশন, মাল্টিমোডাল মডেল এবং পুনরুদ্ধার-অগমেন্টেড জেনারেশন (RAG) ওয়ার্কফ্লো সমর্থন করে এবং কুবারনেটস বা বেয়ার-মেটাল কন্টেইনারের মাধ্যমে স্থাপন করে। Qualcomm ব্যবহারকারীর ব্যবস্থাপনা এবং প্রশাসনের সরঞ্জামগুলিও পাঠায় - একটি অস্বাভাবিক সংযোজন যা কাঁচা অ্যাক্সিলারেটর অফারগুলির প্রায়শই অভাব হয়, কিন্তু একটি যে এন্টারপ্রাইজ আইটি দলগুলি যখন বাড়ির কাজের চাপগুলিকে সরিয়ে দেয় তখন তাদের ওজন বেশি হয়৷

OpenAI- সামঞ্জস্যপূর্ণ API পৃষ্ঠটি কৌশলগতভাবে গুরুত্বপূর্ণ: এটি ডেভেলপারদেরকে Qualcomm হার্ডওয়্যারে বিদ্যমান OpenAI-বাউন্ড পাইপলাইনগুলিকে পুনর্লিখনের পরিবর্তে কনফিগারেশন পরিবর্তনের সাথে নির্দেশ করতে দেয়, যা এই বাজারে ক্ষমতাকে সুরক্ষিত করে এমন সুইচিং খরচ কমিয়ে দেয়।

একজন স্বচ্ছ নেতার সাথে একটি জনাকীর্ণ মাঠ

Qualcomm একটি অনুমান বাজারে প্রবেশ করেছে যা AI হার্ডওয়্যার চক্রের যুদ্ধক্ষেত্র হয়ে উঠেছে। Nvidia এর L40S এবং H100 আধিপত্য; AMD এর MI300X এবং Intel এর Gaudi 3 একই কাজের চাপকে লক্ষ্য করে; এবং Groq এবং Cerebras থেকে বিশেষায়িত সিলিকন কাঁচা অনুমান গতিতে কুলুঙ্গি তৈরি করেছে।

দাবি পক্ষের ঝাঁকুনি ব্যাখ্যা. AI এজেন্ট এবং RAG পাইপলাইন পরিবেশন করা একটি একক ব্যবহারকারীর সেশন জেনারেট করা মডেল কলের সংখ্যাকে বহুগুণ করে, এবং সেই কলগুলির প্রতিটি একটি টোকেন প্রতি সর্বনিম্ন সম্ভাব্য খরচে সমাধান করা একটি অনুমান সমস্যা। হাইপারস্ক্যালাররা এটি পরিচালনা করার জন্য ফ্ল্যাগশিপ জিপিইউগুলির র্যাকগুলি কেনেন; তাদের নীচের এন্টারপ্রাইজগুলি তাদের বিদ্যুতের চুক্তি পুনর্বিবেচনা ছাড়াই একটি স্ট্যান্ডার্ড সার্ভারে, একটি স্ট্যান্ডার্ড পাওয়ার সার্কিটে ফিট করে এমন হার্ডওয়্যার খুঁজছে।

কোয়ালকমের পিচ সর্বোচ্চ পারফরম্যান্সের পরিবর্তে মালিকানার মোট খরচ। স্কেলে অনুমান চালানো উদ্যোগগুলির জন্য, বিদ্যুৎ খরচ সরাসরি অপারেটিং খরচে প্রবাহিত হয় এবং 150W এ প্রতিযোগিতামূলক থ্রুপুট সরবরাহকারী একটি কার্ড ব্রুট-ফোর্স GPU-এর অর্থনীতিকে কম করে। প্রশিক্ষণ এনভিডিয়ার ডোমেইন থেকে যায় — আল্ট্রা এটির উপর কোনও দাবি করে না — তবে অনুমান হল যেখানে শিল্পের ইউনিট অর্থনীতি আসলে সিদ্ধান্ত নেওয়া হয়, এবং এটি একটি কাজের চাপ যা বেশিরভাগ উদ্যোগগুলি নিজেরাই চালাবে, তা একটি অন-প্রিমিসেস ক্লাস্টারে বা কোলোকেশন খাঁচায়।

সফ্টওয়্যার ইকোসিস্টেম চড়াই যুদ্ধ অবশেষ. Nvidia-এর CUDA প্ল্যাটফর্ম এখনও বেশিরভাগ AI ডেভেলপারদের জন্য ডিফল্ট পছন্দ, এবং যখন OpenAI- সামঞ্জস্যপূর্ণ APIগুলি প্রবেশের বাধাকে কম করে, তারা কাস্টম ইনফারেন্স পাইপলাইনের জন্য প্রয়োজনীয় পুনর্ব্যবহারকে দূর করে না।

যেখানে এটি কোয়ালকমের লাইনআপে ফিট করে

আল্ট্রা Qualcomm-এর ইনফারেন্স লাইনআপের শীর্ষে বসে, এতে Cloud AI 80 Ultra (INT8-এর 618 TOPS পর্যন্ত একই 576 MB SRAM সহ), ক্লাউড AI 100 Pro, এবং Cloud AI 100 স্ট্যান্ডার্ড, যা এজ এবং ছোট-স্কেলের 5W-স্কেলের সাথে লক্ষ্য করে।

লঞ্চটি Qualcomm-এর Dragonfly ডেটা সেন্টার রোডম্যাপের বর্তমান প্রজন্মের প্রতিনিধিত্ব করে, যা কোম্পানিটি ক্লাউড-স্কেল AI ওয়ার্কলোডের জন্য তৈরি করছে — এবং যা এখন Qualcommকে এমন উদ্যোগের জন্য একটি যুক্তি দেয় যারা পাবলিক ক্লাউডের পরিবর্তে প্রাঙ্গনে জেনারেটিভ AI ইনফারেন্স চালাতে চায়, খরচ, বিলম্বতা বা ডেটা গভর্নেন্সের কারণে।

বাজি, এক বাক্যে

Qualcomm বাজি ধরছে যে AI মুষ্টিমেয় হাইপারস্কেলার থেকে হাজার হাজার এন্টারপ্রাইজে চলে যাওয়ার সাথে সাথে বিজয়ী ইনফারেন্স কার্ডটি দ্রুততম নয় বরং সবচেয়ে কার্যকরী। ক্লাউড এআই 100 আল্ট্রা হল সিলিকনের সেই যুক্তি; বিকাশকারীরা ওয়াট অনুসরণ করে কিনা তা খোলা প্রশ্ন থেকে যায়।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →