Google তার অষ্টম-প্রজন্মের TPU পোর্টফোলিও দুটি নতুন সিস্টেমের সাথে প্রসারিত করেছে — সুরক্ষিত, গোপনীয় অনুমানের জন্য TPU 8tx এবং বিশাল কনটেক্সট উইন্ডোর জন্য TPU 8i Max — প্রথমবারের মতো কোম্পানিটি এক বছরে চারটি TPU সিস্টেম প্রেরণ করেছে।

সোমবার প্রকাশিত একটি ব্লগ পোস্টে, গুগল বলেছে যে দুটি সংযোজন একটি কাজের চাপ প্রোফাইলের জন্য ডিজাইন করা হয়েছে যা এক দশক আগে প্রথম TPU চালু হওয়ার সময় খুব কমই ছিল: স্বায়ত্তশাসিত এজেন্টদের বহর বিশাল প্রসঙ্গ উইন্ডোর উপর যুক্তি এবং সংবেদনশীল এন্টারপ্রাইজ ডেটা পরিচালনা করে। "মানব থেকে এজেন্ট স্কেলে কম্পিউটিং চলে যাওয়ার সাথে সাথে, ব্যবসাগুলি এমন এক্সিলারেটরের জন্য জিজ্ঞাসা করছে যা এআই মডেলের বিশাল প্রসঙ্গ উইন্ডো জুড়ে যুক্তি দিতে পারে," কোম্পানি লিখেছে। "এছাড়া, কিছু অত্যন্ত নিয়ন্ত্রিত গ্রাহক অনন্য কাজের চাপের জন্য বিশেষ এনক্রিপশন ক্ষমতার জন্য জিজ্ঞাসা করছেন।" For more context on this story, see our ongoing AI news.

এজেন্টিক জীবনচক্রের প্রতিটি পর্যায়ের জন্য একটি সিস্টেম

অষ্টম প্রজন্মটি এপ্রিল মাসে Google ক্লাউড নেক্সট-এ শুরু হয়েছিল TPU 8t, বড় মাপের প্রশিক্ষণের জন্য নির্মিত, এবং TPU 8i, রিয়েল-টাইম যুক্তির জন্য তৈরি। Google পূর্ববর্তী প্রজন্মের তুলনায় 8t-এর জন্য 2.7 গুণ ভাল প্রশিক্ষণ কর্মক্ষমতা এবং 8i-এর জন্য 80% ভাল অনুমান মূল্য-কর্মক্ষমতা উল্লেখ করেছে।

দুটি নতুন আগমন অবশিষ্ট অঞ্চলকে বিভক্ত করেছে। গুগল যেমন বলেছে, চারটি সিস্টেম একত্রে গ্রাহকদের "এজেন্টিক লাইফসাইকেলের প্রতিটি পর্যায়ে একটি উদ্দেশ্য-নির্মিত অ্যাক্সিলারেটর" দেয়: স্কেল-আপ প্রশিক্ষণের জন্য TPU 8t, কম-বিলম্বিত যুক্তির জন্য TPU 8i, গোপনীয় কম্পিউটিং-এর জন্য TPU 8tx, এবং বিশাল প্রসঙ্গ উইন্ডোগুলির জন্য TPU 8i ম্যাক্স এবং সর্বোচ্চ কম্পিউট র্যাকডেন।

TPU 8tx: হার্ডওয়্যারের মধ্যে তৈরি নিরাপত্তা

TPU 8tx নিরাপদ এবং গোপনীয় অনুমানের জন্য অপ্টিমাইজ করা হয়েছে এবং, Google নোট, ছোট-স্কেল প্রশিক্ষণের জন্যও উপযুক্ত। লক্ষ্য গ্রাহক সুস্পষ্ট: নিয়ন্ত্রিত উদ্যোগ এবং সরকার তাদের সবচেয়ে সংবেদনশীল ডেটার পাশাপাশি সীমান্ত বা মালিকানাধীন মডেল এবং স্বায়ত্তশাসিত এজেন্ট চালাচ্ছে।

প্রকৌশল পদ্ধতি নিরাপদ কম্পিউটিংয়ে দীর্ঘস্থায়ী উত্তেজনাকে সম্বোধন করে। ডেটা সাধারণত এনক্রিপ্ট করা হয় যখন সংরক্ষিত বা প্রেরণ করা হয়, তবে একটি কম্পিউটার এটি প্রক্রিয়া করার সময় মেমরিতে আনলক করতে হয় - যে মুহূর্তে এটি সবচেয়ে বেশি উন্মুক্ত হয়। TPU 8t-এর মতো একই সিলিকনে নির্মিত এবং 5th জেনারেশন AMD EPYC CPU হোস্টের সাথে পেয়ার করা, TPU 8tx সরাসরি হার্ডওয়্যার স্তরে নিরাপত্তা তৈরি করে, সক্রিয় ব্যবহারের সময়ও সংবেদনশীল ডেটা এবং মডেলের ওজন সুরক্ষিত এবং বিচ্ছিন্ন রাখে।

সিস্টেমটি একই লো-লেটেন্সি "বোর্ডফ্লাই" নেটওয়ার্ক ব্যবহার করে যা Google রিয়েল-টাইম যুক্তির জন্য তৈরি করেছে, যার অর্থ এটি একই সাথে প্রশিক্ষণ-গ্রেড গণনা এবং দ্রুত অনুমান পরিচালনা করতে পারে। Google বলে যে এটি প্রতিষ্ঠানগুলিকে ব্যক্তিগত ডেটা সহ মডেলগুলিকে সূক্ষ্ম-টিউন করতে দেয়, বড় মডেলগুলিকে ছোট করে পাততে দেয় এবং এজেন্টদেরকে একটি একক সিস্টেমে শক্তিবৃদ্ধি শেখার মাধ্যমে প্রশিক্ষণ দেয় — পৃথক ক্লাস্টারগুলির মধ্যে সংবেদনশীল ডেটা স্থানান্তর না করে৷

TPU 8i ম্যাক্স: মেমরি ওয়াল আক্রমণ করা

TPU 8i Max একটি ভিন্ন সীমাবদ্ধতা সম্পূর্ণভাবে মোকাবেলা করে। "যখন কয়েক ডজন এআই এজেন্ট একটি সম্পূর্ণ সফ্টওয়্যার কোডবেস বা ভিডিওর ঘন্টা জুড়ে একসাথে কাজ করে, তখন মেমরি ব্যান্ডউইথ দ্রুত বাধা হয়ে দাঁড়ায়," গুগল লিখেছিল। কোম্পানির উত্তর হল আর্কিটেকচারাল: দুটি লো-লেটেন্সি TPU 8i চিপ একটি একক প্যাকেজে একত্রিত।

ফলাফল হল একটি সিস্টেম যা লকস্টেপে কম্পিউট এবং মেমরি স্কেল করে — দ্বিগুণ কম্পিউট, দ্বিগুণ SRAM এবং TPU 8i-এর HBM ব্যান্ডউইথ দ্বিগুণ করে। এবং যেহেতু TPU 8i Max বিদ্যমান র্যাক ফুটপ্রিন্টের মধ্যে সিলিকনের দ্বিগুণ ফিট করে, Google বলে যে ডেটা সেন্টারগুলি প্রতি বর্গফুট এবং প্রতি ওয়াটে উল্লেখযোগ্যভাবে বেশি কম্পিউটিং শক্তি স্থাপন করতে পারে, একটি অর্থপূর্ণ বিবেচনা যখন শক্তি এবং ফ্লোরস্পেস AI ক্ষমতা সম্প্রসারণের ক্ষেত্রে বাধ্যতামূলক বাধা।

কেন সিস্টেম, চিপস নয়

সোমবারের ঘোষণার একটি গুরুত্বপূর্ণ সূক্ষ্মতা হল যে গুগল এগুলিকে নতুন চিপগুলির পরিবর্তে নতুন সিস্টেম হিসাবে তৈরি করছে। একটি চিপ ডিজাইন করা, কোম্পানি ব্যাখ্যা করে, পদার্থবিদ্যা এবং উত্পাদন সময়রেখা দ্বারা আবদ্ধ কোটি কোটি ট্রানজিস্টর স্থাপনের বহু-বছরের প্রক্রিয়া। একটি সিস্টেম — কীভাবে গণনা, নেটওয়ার্কিং, স্টোরেজ এবং প্যাকেজিং একটি চিপের চারপাশে সাজানো হয় — অনেক দ্রুত সমন্বয় করা যেতে পারে।

সেই মডুলারিটি হল গুগলের এআই হাইপারকম্পিউটার কৌশলের মূল, এবং এটিই চারটি বিশেষায়িত সিস্টেমকে এক প্রজন্মের মধ্যে পাঠানোর অনুমতি দেয়। গুগল আরও হাইলাইট করেছে যে তার নিজস্ব AI পরিকাঠামো এখন হার্ডওয়্যার তৈরিতে কতটা ফিরে যায়: কোম্পানিটি ডিপমাইন্ডের আলফাচিপ রিইনফোর্সমেন্ট লার্নিং সিস্টেম ব্যবহার করে এবং বলে যে জেমিনি এখন চিপ লেআউটগুলিকে "সপ্তাহের চেয়ে ঘন্টার মধ্যে" সরবরাহ করতে সহায়তা করে। Google এটিকে "সত্য সহ-ডিজাইন" এবং একটি অনন্য পার্থক্যকারী বলে।

প্রতিযোগিতামূলক প্রসঙ্গ

AI এক্সিলারেটরগুলিতে তীব্র প্রতিযোগিতার মধ্যে সম্প্রসারণ অবতরণ করে। TPU স্থাপনাগুলি Google-এর নিজস্ব দেয়ালের বাইরে মডেল পরিবেশন করার ক্ষেত্রে তাদের ভূমিকার জন্য মনোযোগ আকর্ষণ করেছে — কোম্পানি নোট করেছে যে TPUগুলি এখন তার জেমিনি মডেল, এজেন্টিক ওয়ার্কলোড, Google ক্লাউড গ্রাহক পরিষেবা এবং গ্রাহকদের নিজস্ব ডেটা সেন্টারে TPU-এর সরাসরি স্থাপনার জন্য প্রশিক্ষণ এবং পরিবেশন করছে৷ গুগল টিপিইউকে "একটি দ্রুত বর্ধনশীল ব্যবসা" হিসাবে বর্ণনা করে।

ঘোষণার কভারেজ, TechPowerUp এবং Electronics Weekly-এর টুকরোগুলি সহ, এই পদক্ষেপটিকে স্পষ্টভাবে প্রতিযোগিতামূলক শর্তে প্রসারিত করেছে — Google তার কাস্টম-সিলিকন লাইনআপকে প্রসারিত করছে কারণ এটি AI ওয়ার্কলোডগুলিকে বিচার করে যা অন্যথায় NVIDIA হার্ডওয়্যারে চলতে পারে। NVIDIA, তার অংশের জন্য, তার নিজস্ব র্যাক-স্কেল সিস্টেমের ধারাবাহিকভাবে শিপিং চালিয়ে গেছে, এআই অবকাঠামো ক্রেতাদেরকে বণিক এবং কাস্টম সিলিকনের মধ্যে একটি ক্রমবর্ধমান বিশ্বাসযোগ্য পছন্দের সাথে রেখে গেছে।

ডেভেলপারদের জন্য এর অর্থ কী

বিকাশকারীদের জন্য, ব্যবহারিক তাত্পর্য যে কোনও একক বেঞ্চমার্ক সম্পর্কে কম এবং ফিট সম্পর্কে বেশি। দলগুলি এজেন্টিক পণ্য তৈরি করে যেগুলি দীর্ঘ নথি, বড় কোডবেস, বা বর্ধিত ভিডিও প্রেক্ষাপটের মাধ্যমে পিষে মেমরি-ব্যান্ডউইথ সিলিংয়ে আঘাত করছে যা কাঁচা FLOPS সমাধান করে না — সমস্যা 8i Max এর জন্য তৈরি করা হয়েছে৷ অর্থ, স্বাস্থ্যসেবা, এবং সরকারের দল যারা সংবেদনশীল কাজের চাপকে ভাগ করা অবকাঠামোতে স্থানান্তর করতে পারেনি কারণ প্রক্রিয়াকরণের সময় ডেটা ডিক্রিপ্ট করতে হয়েছিল তাদের এখন 8tx-এ একটি হার্ডওয়্যার-সমর্থিত বিকল্প রয়েছে।

গুগল হার্ডওয়্যার সংবাদকে সফ্টওয়্যার অ্যাক্সেসিবিলিটি মেসেজিং এর সাথে সংযুক্ত করে, তার সাম্প্রতিক PyTorch ঘোষণা এবং TPU-কে "সাধারণ-উদ্দেশ্যের হার্ডওয়্যারের মতো সহজে ব্যবহারযোগ্য" করার লক্ষ্যে নির্দেশ করে। কোম্পানিটি নতুন সিস্টেমের বিস্তারিত জানার জন্য সোমবার একটি সম্প্রচারের আয়োজন করেছে এবং বলেছে যে গ্রাহকরা Google ক্লাউড ওয়েবসাইটে সম্পূর্ণ অবকাঠামো লাইনআপ অন্বেষণ করতে পারেন।

এআই থেকে এগিয়ে থাকুন

কাস্টম সিলিকন এআই বিল্ডআউটের কৌশলগত যুদ্ধক্ষেত্র হয়ে উঠছে। AI Buzz Wire — AI হার্ডওয়্যার, মডেল এবং সেগুলি তৈরিকারী সংস্থাগুলির ব্রেকিং কভারেজের সাথে AI-এর থেকে এগিয়ে থাকুন।

আরও এআই খবর পড়ুন →