Google расширила линейку TPU восьмого поколения двумя новыми специализированными системами: TPU 8i Max, которая объединяет два чипа вывода в одном корпусе для долгоконтекстных агентных рабочих нагрузок, и TPU 8tx, созданная для конфиденциального, аппаратно-изолированного вывода, предназначенного для регулируемых предприятий и правительств. Tom's Hardware сообщила о дополнениях в четверг.
Этот шаг завершает семейство, которое Google начал в апреле с TPU 8t, предназначенного для крупномасштабного обучения искусственного интеллекта, и TPU 8i, созданного для работы с выводами общего назначения, такой как выборка, обслуживание и рассуждение. Благодаря новым вариантам линейка восьмого поколения теперь охватывает обучение, стандартный вывод, безопасный вывод и агентный вывод с максимальной пропускной способностью — матрицу опций, которая отражает, насколько по-разному предприятия теперь используют оборудование искусственного интеллекта. Эти новости о чипах являются частью нашего освещения последних разработок в области искусственного интеллекта на рынке оборудования для искусственного интеллекта.
Что делают новые чипы
TPU 8i Max объединяет два чипа 8i в одном корпусе, удваивая вычислительную мощность, SRAM и пропускную способность памяти с высокой пропускной способностью по сравнению с исходным 8i. Проект нацелен на долгоконтекстную агентскую работу — сценарии, в которых агенты ИИ выполняют очень большие рабочие контексты при выполнении многоэтапных задач.
Компания Tom's Hardware представила удвоение пропускной способности как способ обойти то, что Google называет стеной памяти, узкое место в пропускной способности, которое становится острым, «когда десятки агентов ИИ работают вместе над всей кодовой базой программного обеспечения». Большие контекстные окна — с более крупными моделями, рассчитанными примерно на 1 миллион токенов — означают большие кэши KV, частично хранящиеся в SRAM, и каждый новый сгенерированный токен должен считывать этот кеш обратно из памяти. Удвоение пропускной способности HBM в одном пакете устраняет именно это узкое место, и в публикации отмечается, что это путь, отличный от подхода Nvidia, заключающегося в объединении второго типа чипа для декодирования с уровнем хранения для контекста.
Между тем, TPU 8tx построен на том же кристалле, что и ранее анонсированный 8t, ориентированный на обучение, но настроен для конфиденциальных вычислений: аппаратно-изолированный вывод для регулируемых предприятий и правительств, которым необходимо доказательство того, что их данные и модели защищены во время обработки. Система заменяет хост-процессоры Axion на базе Arm, используемые в 8t и 8i, на процессор AMD EPYC 5-го поколения и использует сеть Google Boardfly.
Примечательно, что Google еще не поделился подробными спецификациями, ценами и датами поставок ни одной из новых систем, поэтому покупателям в настоящее время доступны изображения и позиционирование, а не продукты, которые можно заказать.
На изображениях, опубликованных Google вместе с анонсом, изображена плата TPU 8tx с четырьмя чипами, а также четыре платы TPU 8i Max, каждая из которых содержит по два чипа в одном корпусе — физическая иллюстрация того, насколько далеко семейство восьмого поколения отошло от модели ускорителя «один чип подходит всем» предыдущих поколений.
TPU Sync: программный уровень для памяти агента
Помимо кремния, Google делает ставку на программное обеспечение для решения проблемы памяти агента. TPU Sync — это «уровень состояния модели для кластеров TPU» с открытым исходным кодом, который автоматически распределяет массивные кэши KV с чипа за миллисекунды, перемещая их вниз к хосту DRAM и, экспериментально, к общему хранилищу.
По данным Google, это может сократить задержку передачи KV-кэша более чем на 90% с соответствующим увеличением времени до первого токена — задержки, которую испытывает пользователь перед тем, как система искусственного интеллекта начнет отвечать. Для агентских рабочих нагрузок, когда один сеанс может включать в себя десятки последовательных вызовов модели, каждому из которых требуется доступ к одному и тому же накопленному контексту, управление кэшем становится таким же важным, как и необработанные вычисления.
Почему это важно для рынка оборудования искусственного интеллекта
TPU стали быстрорастущим бизнесом для Google, которая заявляет о почти 100 клиентах чипов, включая Meta, чье внедрение Google TPU в своих центрах обработки данных ознаменовало одно из наиболее значительных конкурентных вторжений на территорию Nvidia. По словам компании, более модульный подход, который Google применяет к семейству восьмого поколения, позволяет ей поставлять специализированные системы «в течение нескольких месяцев, а не лет», способствуя росту числа клиентов.
Время объявления поразительно. Расширение чипов Google началось в тот же день, когда Nvidia объявила об отставке генерального директора Дженсена Хуанга и назначении временно исполняющим обязанности генерального директора финансового директора Колетт Кресс. Эти два события не связаны по причине, но вместе они подчеркивают, насколько конкурентным и нестабильным стал рынок инфраструктуры искусственного интеллекта.
Для предприятий, оценивающих инфраструктуру искусственного интеллекта, эти дополнения сигнализируют о том, что набор вариантов расширяется: оптимизированные для обучения микросхемы, общий вывод, безопасный вывод для регулируемых данных и пакеты максимальной пропускной способности для групп агентов становятся отдельными категориями продуктов, а не универсальными ускорителями. Когда Google опубликует информацию о ценах и доступности, практический вопрос для покупателей будет заключаться в том, приведет ли удвоенная пропускная способность 8i Max к достаточной пропускной способности для агентских парков, чтобы оправдать надбавку по сравнению со стандартными развертываниями 8i.
Модульность также имеет логику со стороны предложения. Вместо того, чтобы годами ждать, пока конструкция следующего поколения пройдет через весь аппаратный стек, Google может рекомбинировать существующие микросхемы — как это было сделано путем перемещения 8t микросхем в пакет безопасного вывода с другим центральным процессором — чтобы быстрее охватить нишевые сегменты, сохраняя при этом общий стек программного обеспечения для всех вариантов. Эта скорость сама по себе является конкурентным оружием на рынке, где требования клиентов меняются ежеквартально.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
