گوگل نسل هشتم TPU خود را با دو سیستم تخصصی جدید گسترش داده است: TPU 8i Max، که ترکیبی از دو تراشه استنتاج در یک بسته واحد برای بارهای کاری با زمینه طولانی است، و TPU 8tx که برای استنتاج محرمانه و جدا شده از سخت افزار با هدف شرکت ها و دولت های تحت نظارت ساخته شده است. Tom's Hardware این موارد را روز پنجشنبه گزارش داد.

این حرکت، خانواده‌ای را که Google در آوریل با TPU 8t، طراحی شده برای آموزش هوش مصنوعی در مقیاس بزرگ، و TPU 8i، برای کارهای استنتاج همه‌منظوره مانند نمونه‌برداری، ارائه و استدلال ساخته شد، تکمیل کرد. با انواع جدید، خط تولید نسل هشتم اکنون آموزش، استنتاج استاندارد، استنتاج ایمن و حداکثر پهنای باند استنتاج عاملی را پوشش می‌دهد - ماتریسی از گزینه‌ها که نشان می‌دهد شرکت‌ها در حال حاضر چگونه از سخت‌افزار هوش مصنوعی متفاوت استفاده می‌کنند. این اخبار تراشه بخشی از پوشش [آخرین پیشرفت‌های هوش مصنوعی] (https://aibuzzwire.news) ما در سراسر بازار سخت‌افزار هوش مصنوعی است.

چیپ های جدید چه می کنند

TPU 8i Max دو تراشه 8i را روی یک بسته قرار می دهد که پهنای باند محاسباتی، SRAM و پهنای باند حافظه 8i اصلی را دو برابر می کند. این طراحی کار عاملی با زمینه طولانی را هدف قرار می دهد - سناریوهایی که در آن عوامل هوش مصنوعی زمینه های کاری بسیار بزرگی را در وظایف چند مرحله ای حمل می کنند.

Tom's Hardware دو برابر شدن پهنای باند را به عنوان راهی برای دور زدن آنچه Google دیوار حافظه می نامد، گلوگاه پهنای باند که "زمانی که ده ها عامل هوش مصنوعی در کل یک پایگاه کد نرم افزاری با هم کار می کنند" حاد می شود. پنجره های زمینه بزرگتر - با مدل های بزرگتر که حدود 1 میلیون توکن را هدف قرار می دهند - به معنای کش های KV بزرگتر است که تا حدی در SRAM نگهداری می شود و هر توکن جدیدی که تولید می شود باید آن کش را از حافظه بازخوانی کند. دوبرابر کردن پهنای باند HBM در یک بسته دقیقاً به آن گلوگاه حمله می‌کند و نشریه خاطرنشان کرد که این مسیری متفاوت از رویکرد Nvidia برای جفت کردن نوع دوم تراشه برای رمزگشایی با لایه ذخیره‌سازی برای زمینه است.

در همین حال، TPU 8tx بر روی همان سیلیکونی ساخته شده است که قبلاً 8t آموزش محور اعلام شده بود، اما برای محاسبات محرمانه پیکربندی شده است: استنتاج جدا شده از سخت افزار برای شرکت های تحت نظارت و دولت هایی که نیاز به اثبات محافظت از داده ها و مدل های آنها در طول پردازش دارند. این سیستم پردازنده‌های میزبان Axion مبتنی بر Arm را که توسط 8t و 8i استفاده می‌شود با پردازنده نسل پنجم AMD EPYC تعویض می‌کند و از شبکه Boardfly Google استفاده می‌کند.

قابل توجه است که گوگل هنوز مشخصات دقیق، قیمت‌ها یا تاریخ ارسال را برای هر یک از سیستم‌های جدید به اشتراک نگذاشته است، بنابراین خریداران در حال حاضر به جای محصولات قابل سفارش، رندر و موقعیت‌یابی دارند.

رندرهایی که گوگل در کنار این اعلامیه منتشر کرد، یک برد TPU 8tx با چهار تراشه، در کنار چهار برد TPU 8i Max، که هر کدام دو تراشه را روی یک بسته حمل می‌کنند، نشان می‌دهد - یک تصویر فیزیکی از فاصله گرفتن خانواده نسل هشتم از مدل شتاب‌دهنده‌های یک‌تراشه‌های نسل‌های قبلی.

TPU Sync: لایه نرم افزاری برای حافظه عامل

در کنار سیلیکون، گوگل به نرم افزاری برای حل مشکل حافظه عامل تکیه کرده است. TPU Sync یک «لایه حالت مدل برای خوشه‌های TPU» منبع باز است که به طور خودکار حافظه‌های پنهان KV عظیم تراشه را در میلی‌ثانیه جدا می‌کند و آن‌ها را به سمت DRAM میزبان و به‌طور تجربی، ذخیره‌سازی مشترک منتقل می‌کند.

به گفته گوگل، این می تواند تاخیر انتقال حافظه پنهان KV را تا بیش از 90٪ کاهش دهد و در نتیجه زمان تا اولین توکن را افزایش دهد - تاخیری که کاربر قبل از شروع پاسخگویی یک سیستم هوش مصنوعی تجربه می کند. برای بارهای کاری عاملی، که در آن یک جلسه ممکن است شامل ده ها فراخوانی مدل متوالی باشد که هر کدام نیاز به دسترسی به یک زمینه انباشته شده دارند، مدیریت کش به اندازه محاسبه خام اهمیت پیدا می کند.

چرا برای بازار سخت افزار هوش مصنوعی مهم است

TPU ها به تجارتی در حال رشد برای گوگل تبدیل شده اند که ادعا می کند نزدیک به 100 مشتری برای تراشه ها دارند - از جمله Meta، که استفاده از TPU های Google در مراکز داده خود یکی از مهم ترین تهاجمات رقابتی به قلمرو انویدیا بود. این شرکت می‌گوید رویکرد ماژولارتری که گوگل با خانواده نسل هشتم در پیش گرفته است، به آن اجازه می‌دهد تا سیستم‌های تخصصی را «در عرض چند ماه به جای چند سال» ارائه کند و به رشد مشتری کمک کند.

زمان اعلام قابل توجه است. توسعه تراشه‌های گوگل در همان روزی آغاز شد که انویدیا اعلام کرد که جنسن هوانگ، مدیر عامل شرکت، استعفا داده و کولت کرس، مدیر ارشد اجرایی آن، به‌عنوان مدیر عامل موقت منصوب شد - یک اختلال فوق‌العاده در رهبری شرکتی که پردازنده‌های گرافیکی آن بر بازاری تسلط دارند که TPUهای گوگل در حال حذف شدن هستند. این دو رویداد از نظر علت ربطی به هم ندارند، اما با هم نشان می‌دهند که بازار زیرساخت‌های هوش مصنوعی چقدر رقابتی و چقدر ناپایدار شده است.

برای شرکت‌هایی که زیرساخت‌های هوش مصنوعی را ارزیابی می‌کنند، اضافات نشان می‌دهند که مجموعه انتخاب در حال گسترش است: سیلیکون بهینه‌سازی شده برای آموزش، استنتاج عمومی، استنتاج امن برای داده‌های تنظیم‌شده، و بسته‌های حداکثر پهنای باند برای ناوگان عامل در حال تبدیل شدن به دسته‌های محصول متمایز به جای شتاب‌دهنده‌های یک‌اندازه هستند. هنگامی که گوگل جزئیات قیمت و در دسترس بودن را منتشر می کند، سوال عملی برای خریداران این خواهد بود که آیا پهنای باند دو برابر شده 8i Max به توان عملیاتی کافی برای ناوگان های نمایندگی تبدیل می شود تا برتری نسبت به استقرار استاندارد 8i را توجیه کند.

ماژولار بودن نیز منطق سمت عرضه دارد. به جای اینکه سال ها منتظر بمانیم تا طراحی نسل بعدی در پشته سخت افزاری کامل بچرخد، Google می تواند سیلیکون موجود را دوباره ترکیب کند - همانطور که با انتقال سیلیکون 8 تی به یک بسته استنتاج ایمن با یک CPU میزبان متفاوت انجام داد - تا سریعتر به بخش های خاص برسد، در حالی که یک پشته نرم افزار مشترک را در همه انواع نگه می دارد. این سرعت خود یک سلاح رقابتی در بازاری است که نیازهای مشتری هر سه ماه یکبار تغییر می کند.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →