Google расширила свой портфель TPU восьмого поколения двумя новыми системами — TPU 8tx для безопасного, конфиденциального вывода и TPU 8i Max для больших контекстных окон. Это первый раз, когда компания поставила четыре системы TPU за один год.

В сообщении в блоге, опубликованном в понедельник, Google сообщил, что эти два дополнения предназначены для профиля рабочей нагрузки, который едва существовал, когда десять лет назад был запущен первый TPU: флоты автономных агентов рассуждают в огромных контекстных окнах и обрабатывают конфиденциальные корпоративные данные. «Поскольку вычисления переходят от человеческого к агентскому масштабу, компании требуют ускорителей, которые могут рассуждать в огромных контекстных окнах моделей ИИ», — пишет компания. «Кроме того, некоторые строго регулируемые клиенты запрашивают специальные возможности шифрования для уникальных рабочих нагрузок». Подробнее об этой истории — в нашем тенденции ИИ.

Система для каждого этапа жизненного цикла агента

Восьмое поколение началось в Google Cloud Next в апреле с TPU 8t, созданного для крупномасштабного обучения, и TPU 8i, созданного для рассуждений в реальном времени. Google отметил, что производительность обучения для 8t в 2,7 раза выше, а соотношение цена-качество для 8i на 80 % выше по сравнению с предыдущим поколением.

Двое вновь прибывших поделили оставшуюся территорию. По словам Google, четыре системы вместе дают клиентам «специально созданный ускоритель для каждого этапа жизненного цикла агента»: TPU 8t для масштабируемого обучения, TPU 8i для рассуждений с малой задержкой, TPU 8tx для конфиденциальных вычислений и TPU 8i Max для больших контекстных окон и максимальной плотности вычислений на стойку.

TPU 8tx: безопасность, встроенная в оборудование

TPU 8tx оптимизирован для безопасного и конфиденциального вывода и, как отмечает Google, также хорошо подходит для небольшого обучения. Целевой клиент очевиден: регулируемые предприятия и правительства, использующие передовые или запатентованные модели и автономных агентов вместе со своими наиболее конфиденциальными данными.

Инженерный подход устраняет давнюю напряженность в области безопасных вычислений. Данные обычно шифруются при хранении или передаче, но их необходимо разблокировать в памяти, пока компьютер обрабатывает их — в тот момент, когда они наиболее уязвимы. Построенный на том же кристалле, что и TPU 8t, и в сочетании с хостами процессоров AMD EPYC 5-го поколения, TPU 8tx обеспечивает безопасность непосредственно на аппаратном уровне, обеспечивая защиту и изоляцию конфиденциальных данных и веса модели даже во время активного использования.

Система использует ту же сеть Boardfly с малой задержкой, которую Google создал для рассуждений в реальном времени, а это означает, что она может одновременно обрабатывать вычисления обучающего уровня и делать быстрые выводы. Google утверждает, что это позволяет организациям точно настраивать модели с использованием частных данных, разбивать большие модели на более мелкие и обучать агентов посредством обучения с подкреплением в одной системе — без миграции конфиденциальных данных между отдельными кластерами.

TPU 8i Max: атака на стену памяти

TPU 8i Max полностью решает другое ограничение. «Когда десятки агентов ИИ работают вместе над всей кодовой базой программного обеспечения или часами видео одновременно, пропускная способность памяти быстро становится узким местом», — пишет Google. Ответ компании архитектурный: два чипа TPU 8i с малой задержкой объединены в один корпус.

В результате получается система, которая масштабирует вычислительные ресурсы и память синхронно, обеспечивая удвоенный объем вычислений, удвоенный объем SRAM и удвоенную пропускную способность HBM по сравнению с TPU 8i. А поскольку TPU 8i Max вмещает вдвое больше кремния в существующую стойку, Google заявляет, что центры обработки данных могут использовать значительно больше вычислительной мощности на квадратный фут и на ватт, что имеет важное значение, когда мощность и площадь являются обязательными ограничениями для расширения возможностей ИИ.

Почему системы, а не чипы

Важным нюансом заявления, сделанного в понедельник, является то, что Google представляет их как новые системы, а не как новые чипы. Разработка чипа, как поясняет компания, — это многолетний процесс разработки миллиардов транзисторов, связанный физическими и производственными графиками. Систему — то, как вычисления, сеть, хранилище и упаковка расположены вокруг чипа — можно настроить гораздо быстрее.

Эта модульность является основой стратегии Google в области гиперкомпьютеров искусственного интеллекта, и именно она позволила выпускать четыре специализированные системы в рамках одного поколения. Google также подчеркнула, что большая часть ее собственной инфраструктуры искусственного интеллекта теперь возвращается к созданию аппаратного обеспечения: компания использует систему обучения с подкреплением AlphaChip от DeepMind и заявляет, что Gemini теперь помогает создавать макеты микросхем «за часы, а не за недели». Google называет это «настоящим совместным дизайном» и уникальным отличительным признаком.

Конкурентный контекст

Расширение происходит на фоне усиливающейся конкуренции в сфере ускорителей искусственного интеллекта. Развертывания TPU привлекли внимание своей ролью в обслуживании моделей за пределами собственных стен Google — компания отмечает, что TPU теперь обеспечивают обучение и обслуживание ее моделей Gemini, агентских рабочих нагрузок, клиентских служб Google Cloud, а совсем недавно прямое развертывание TPU в собственных центрах обработки данных клиентов. Google описывает ТПУ как «быстро растущий бизнес».

Освещение объявления, в том числе материалы из TechPowerUp и Electronics Weekly, описывало этот шаг в явно конкурентных терминах — Google расширяет свою линейку специализированных полупроводниковых процессоров, поскольку он поддерживает рабочие нагрузки искусственного интеллекта, которые в противном случае могли бы работать на оборудовании NVIDIA. NVIDIA, со своей стороны, продолжает поставлять последующие поколения своих собственных стоечных систем, предоставляя покупателям инфраструктуры искусственного интеллекта все более надежный выбор между коммерческими и заказными микросхемами.

Что это значит для разработчиков

Для разработчиков практическая значимость заключается не столько в каком-то отдельном эталоне, сколько в пригодности. Команды, создающие агентные продукты, которые обрабатывают длинные документы, большие базы кода или расширенный видеоконтекст, сталкиваются с потолками пропускной способности памяти, которые не решаются с помощью FLOPS — проблема, для которой создан 8i Max. Команды в сфере финансов, здравоохранения и правительства, которые не могли перенести конфиденциальные рабочие нагрузки в общую инфраструктуру, поскольку данные необходимо было расшифровать во время обработки, теперь имеют аппаратную опцию в 8tx.

Google объединила новости об аппаратном обеспечении с сообщениями о доступности программного обеспечения, указав на недавние анонсы PyTorch и заявленную цель сделать TPU «такими же простыми в использовании, как и аппаратное обеспечение общего назначения». В понедельник компания провела трансляцию, в которой подробно рассказала о новых системах, и сообщила, что клиенты могут ознакомиться со всей линейкой инфраструктуры на веб-сайте Google Cloud.

Будьте впереди ИИ

Изготовленный на заказ кремний становится стратегическим полем битвы при создании искусственного интеллекта. Будьте впереди ИИ с помощью AI Buzz Wire — новаторского обзора оборудования, моделей и компаний, создающих ИИ.

Читать больше новостей об искусственном интеллекте →