Google তার অষ্টম-প্রজন্মের TPU লাইনআপকে দুটি নতুন বিশেষায়িত সিস্টেমের সাথে প্রসারিত করেছে: TPU 8i Max, যা দীর্ঘ-প্রসঙ্গ এজেন্টিক কাজের চাপের জন্য একটি প্যাকেজে দুটি অনুমান চিপকে একত্রিত করে, এবং TPU 8tx, গোপনীয়, হার্ডওয়্যার-বিচ্ছিন্ন অনুমানের জন্য নির্মিত যা নিয়ন্ত্রিত উদ্যোগ এবং সরকারকে লক্ষ্য করে। টমের হার্ডওয়্যার বৃহস্পতিবার সংযোজনের কথা জানিয়েছে।

এই পদক্ষেপটি একটি পরিবারকে ঘিরে রেখেছে যেটি Google এপ্রিল মাসে TPU 8t দিয়ে শুরু করেছিল, বড় আকারের AI প্রশিক্ষণের জন্য ডিজাইন করা হয়েছে, এবং TPU 8i, নমুনা, পরিবেশন এবং যুক্তির মতো সাধারণ-উদ্দেশ্যের কাজের জন্য নির্মিত। নতুন ভেরিয়েন্টের সাথে, অষ্টম-প্রজন্মের লাইনআপে এখন প্রশিক্ষণ, স্ট্যান্ডার্ড ইনফারেন্স, সুরক্ষিত অনুমান এবং সর্বোচ্চ-ব্যান্ডউইথ এজেন্টিক ইনফারেন্স অন্তর্ভুক্ত রয়েছে — বিকল্পগুলির একটি ম্যাট্রিক্স যা প্রতিফলিত করে যে এন্টারপ্রাইজগুলি এখন এআই হার্ডওয়্যারকে কীভাবে আলাদাভাবে ব্যবহার করে। এই চিপ নিউজটি AI হার্ডওয়্যার মার্কেট জুড়ে আমাদের সর্বশেষ AI উন্নয়ন কভারেজের অংশ।

নতুন চিপস কি করে

TPU 8i Max একটি প্যাকেজে দুটি 8i চিপ রাখে, কম্পিউট, SRAM এবং আসল 8i-এর উচ্চ-ব্যান্ডউইথ মেমরি ব্যান্ডউইথ দ্বিগুণ করে। নকশাটি দীর্ঘ-প্রসঙ্গ এজেন্টিক কাজকে লক্ষ্য করে — এমন পরিস্থিতিতে যেখানে AI এজেন্টরা বহু-পদক্ষেপের কাজ জুড়ে খুব বড় কাজের প্রসঙ্গ বহন করে।

টমের হার্ডওয়্যার ব্যান্ডউইথ দ্বিগুণ করার একটি উপায় হিসাবে তৈরি করেছে যা Google মেমরি ওয়াল বলে, ব্যান্ডউইথের বাধা যা তীব্র হয়ে ওঠে "যখন কয়েক ডজন এআই এজেন্ট একটি সম্পূর্ণ সফ্টওয়্যার কোডবেস জুড়ে একসাথে কাজ করে।" বৃহত্তর কনটেক্সট উইন্ডোস - বৃহত্তর মডেলগুলি লক্ষ্য করে প্রায় 1 মিলিয়ন টোকেন - মানে বৃহত্তর কেভি ক্যাশে, আংশিকভাবে SRAM-এ রাখা, এবং প্রতিটি নতুন টোকেন তৈরি করা অবশ্যই সেই ক্যাশে মেমরি থেকে পড়তে হবে। একটি একক প্যাকেজে HBM ব্যান্ডউইথ দ্বিগুণ করা অবিকল সেই বাধাকে আক্রমণ করে, এবং প্রকাশনাটি উল্লেখ করেছে যে এটি প্রেক্ষাপটের জন্য স্টোরেজ স্তরের সাথে ডিকোডিংয়ের জন্য দ্বিতীয় চিপ টাইপ যুক্ত করার এনভিডিয়ার পদ্ধতির থেকে একটি ভিন্ন রুট।

TPU 8tx, ইতিমধ্যে, পূর্বে ঘোষিত প্রশিক্ষণ-ভিত্তিক 8t এর মতো একই সিলিকনে তৈরি করা হয়েছে, তবে এটি গোপনীয় কম্পিউটিং-এর জন্য কনফিগার করা হয়েছে: নিয়ন্ত্রিত উদ্যোগ এবং সরকারগুলির জন্য হার্ডওয়্যার-বিচ্ছিন্ন অনুমান যাদের প্রমাণের প্রয়োজন তাদের ডেটা এবং মডেলগুলি প্রক্রিয়াকরণের সময় সুরক্ষিত। সিস্টেমটি একটি 5th Gen AMD EPYC প্রসেসরের জন্য 8t এবং 8i দ্বারা ব্যবহৃত আর্ম-ভিত্তিক Axion হোস্ট সিপিইউগুলিকে অদলবদল করে এবং Google এর বোর্ডফ্লাই নেটওয়ার্কিং গ্রহণ করে।

উল্লেখযোগ্যভাবে, Google এখনও নতুন সিস্টেমের জন্য বিশদ বিবরণ, মূল্য বা জাহাজের তারিখগুলি ভাগ করেনি, তাই ক্রেতাদের বর্তমানে অর্ডারযোগ্য পণ্যগুলির পরিবর্তে রেন্ডারিং এবং অবস্থান রয়েছে৷

ঘোষণার সাথে Google প্রকাশিত রেন্ডারিংগুলি দেখায় যে চারটি চিপ বহন করে একটি TPU 8tx বোর্ড, চারটি TPU 8i Max বোর্ডের পাশাপাশি, প্রতিটি একটি একক প্যাকেজে দুটি চিপ বহন করে — অষ্টম-প্রজন্মের পরিবার আগের প্রজন্মের এক-চিপ-ফিট-সমস্ত অ্যাক্সিলারেটর মডেল থেকে কতটা দূরে সরে গেছে তার একটি বাস্তব চিত্র।

TPU সিঙ্ক: এজেন্ট মেমরির জন্য সফ্টওয়্যার স্তর

সিলিকনের পাশাপাশি, এজেন্ট-মেমরি সমস্যা সমাধানের জন্য গুগল সফ্টওয়্যারের দিকে ঝুঁকছে। TPU Sync হল একটি ওপেন-সোর্স "TPU ক্লাস্টারগুলির জন্য মডেল-স্টেট লেয়ার" যা স্বয়ংক্রিয়ভাবে মিলিসেকেন্ডে চিপ থেকে বিশাল কেভি ক্যাশে শ্রেণীবদ্ধ করে, সেগুলিকে হোস্ট DRAM এবং পরীক্ষামূলকভাবে শেয়ার্ড স্টোরেজে নিয়ে যায়।

Google-এর মতে, এটি কেভি-ক্যাশে ট্রান্সফার লেটেন্সি 90%-এর বেশি কমিয়ে দিতে পারে, টাইম-টু-ফার্স্ট-টোকেনে অনুরূপ লাভের সাথে - একটি AI সিস্টেম প্রতিক্রিয়া শুরু করার আগে ব্যবহারকারীর অভিজ্ঞতার বিলম্ব। এজেন্টিক ওয়ার্কলোডের জন্য, যেখানে একটি একক সেশনে কয়েক ডজন অনুক্রমিক মডেল কল জড়িত থাকতে পারে যেগুলির প্রত্যেকটিকে একই সঞ্চিত প্রসঙ্গে অ্যাক্সেসের প্রয়োজন হয়, ক্যাশে ব্যবস্থাপনা কাঁচা গণনার মতো গুরুত্বপূর্ণ হয়ে উঠছে।

কেন এটি AI হার্ডওয়্যার বাজারের জন্য গুরুত্বপূর্ণ

টিপিইউগুলি Google-এর জন্য একটি দ্রুত বর্ধনশীল ব্যবসায় পরিণত হয়েছে, যা প্রায় 100 জন গ্রাহককে চিপগুলির জন্য দাবি করে — মেটা সহ, যার ডেটা সেন্টারগুলিতে Google TPU-গুলি গ্রহণ করা Nvidia-এর অঞ্চলে সবচেয়ে উল্লেখযোগ্য প্রতিযোগিতামূলক অনুপ্রবেশগুলির একটি হিসাবে চিহ্নিত৷ অষ্টম প্রজন্মের পরিবারের সাথে Google যে আরও মডুলার পদ্ধতি গ্রহণ করছে, কোম্পানি বলেছে, এটি "বছরের চেয়ে কয়েক মাসের মধ্যে" বিশেষ সিস্টেম সরবরাহ করতে দেয়, যা গ্রাহক বৃদ্ধিতে সহায়তা করে।

ঘোষণার সময়টি আকর্ষণীয়। Google-এর চিপের সম্প্রসারণ একই দিনে এনভিডিয়া ঘোষণা করেছিল যে সিইও জেনসেন হুয়াং পদত্যাগ করেছেন, সিএফও কোলেট ক্রেসকে অন্তর্বর্তীকালীন সিইও নিযুক্ত করেছেন - যে কোম্পানির জিপিইউগুলি বাজারে আধিপত্য বিস্তার করছে Google-এর টিপিইউগুলি এ থেকে দূরে সরে যাচ্ছে সেই কোম্পানিতে একটি অসাধারণ নেতৃত্বের ব্যাঘাত। দুটি ঘটনা কারণের সাথে সম্পর্কযুক্ত নয়, কিন্তু একসাথে তারা আন্ডারলাইন করে যে এআই অবকাঠামো বাজার কতটা প্রতিযোগিতামূলক এবং কতটা অস্থির হয়ে উঠেছে।

AI পরিকাঠামো মূল্যায়নকারী উদ্যোগগুলির জন্য, সংযোজন সংকেত দেয় যে পছন্দের সেটটি প্রশস্ত হচ্ছে: প্রশিক্ষণ-অপ্টিমাইজড সিলিকন, সাধারণ অনুমান, নিয়ন্ত্রিত ডেটার জন্য সুরক্ষিত অনুমান, এবং এজেন্ট ফ্লিটগুলির জন্য সর্বাধিক-ব্যান্ডউইথ প্যাকেজগুলি এক-আকার-ফিট-সমস্ত অ্যাক্সিলারেটরের পরিবর্তে স্বতন্ত্র পণ্য বিভাগে পরিণত হচ্ছে। যখন Google মূল্য এবং প্রাপ্যতার বিশদ প্রকাশ করে, তখন ক্রেতাদের জন্য ব্যবহারিক প্রশ্ন হবে 8i ম্যাক্সের দ্বিগুণ ব্যান্ডউইথ এজেন্টিক ফ্লিটগুলির জন্য স্ট্যান্ডার্ড 8i স্থাপনার চেয়ে প্রিমিয়ামকে ন্যায্যতা দেওয়ার জন্য যথেষ্ট থ্রুপুটে অনুবাদ করে কিনা।

মডুলারিটির একটি সাপ্লাই-সাইড লজিকও আছে। সম্পূর্ণ হার্ডওয়্যার স্ট্যাকের মাধ্যমে একটি পরবর্তী প্রজন্মের ডিজাইনের জন্য বছরের পর বছর অপেক্ষা করার পরিবর্তে, Google বিদ্যমান সিলিকনকে পুনরায় একত্রিত করতে পারে — যেমন এটি 8t সিলিকনকে একটি ভিন্ন হোস্ট সিপিইউ সহ একটি সুরক্ষিত-ইনফারেন্স প্যাকেজে স্থানান্তরিত করার মাধ্যমে করেছে — কুলুঙ্গি বিভাগে দ্রুত পৌঁছানোর জন্য, সব ভেরিয়েন্ট জুড়ে একটি সাধারণ সফ্টওয়্যার স্ট্যাক রেখে৷ এই গতি নিজেই একটি বাজারে একটি প্রতিযোগিতামূলক অস্ত্র যেখানে গ্রাহকের প্রয়োজনীয়তা ত্রৈমাসিকভাবে স্থানান্তরিত হয়।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →