Google ra mắt TPU 8tx và TPU 8i Max, hoàn thiện dòng chip AI thế hệ thứ tám bốn hệ thống

Google đã mở rộng danh mục TPU thế hệ thứ tám của mình với hai hệ thống mới – TPU 8tx để suy luận an toàn, bí mật và TPU 8i Max cho các cửa sổ ngữ cảnh lớn – đánh dấu lần đầu tiên công ty xuất xưởng bốn hệ thống TPU trong một năm.

Trong một bài đăng trên blog được xuất bản hôm thứ Hai, Google cho biết hai tính năng bổ sung này được thiết kế cho một cấu hình khối lượng công việc hầu như không tồn tại khi TPU đầu tiên ra mắt cách đây một thập kỷ: các nhóm tác nhân tự trị suy luận qua các cửa sổ ngữ cảnh khổng lồ và xử lý dữ liệu doanh nghiệp nhạy cảm. Công ty viết: “Với việc điện toán chuyển từ quy mô con người sang quy mô đại lý, các doanh nghiệp đang yêu cầu các bộ tăng tốc có thể suy luận trên các cửa sổ ngữ cảnh khổng lồ của mô hình AI”. “Ngoài ra, một số khách hàng được quản lý chặt chẽ đang yêu cầu khả năng mã hóa chuyên biệt cho khối lượng công việc riêng biệt.” For more context on this story, see our ongoing breaking AI news.

Một hệ thống dành cho mọi giai đoạn của vòng đời tác nhân

Thế hệ thứ tám bắt đầu tại Google Cloud Next vào tháng 4 với TPU 8t, được thiết kế để đào tạo quy mô lớn và TPU 8i, được thiết kế để lý luận theo thời gian thực. Google cho biết hiệu suất đào tạo của 8t tốt hơn tới 2,7 lần và hiệu suất suy luận về giá của 8i tốt hơn 80% so với thế hệ trước.

Hai người mới đến chia nhau lãnh thổ còn lại. Như Google đã nói, bốn hệ thống cùng nhau mang đến cho khách hàng "một công cụ tăng tốc được thiết kế có mục đích cho mọi giai đoạn của vòng đời tác nhân": TPU 8t để đào tạo mở rộng quy mô, TPU 8i để lý luận có độ trễ thấp, TPU 8tx để tính toán bí mật và TPU 8i Max cho các cửa sổ ngữ cảnh lớn và mật độ điện toán cao nhất trên mỗi giá.

TPU 8tx: Bảo mật tích hợp trong phần cứng

TPU 8tx được tối ưu hóa để suy luận an toàn và bí mật, đồng thời, Google lưu ý, cũng rất phù hợp với hoạt động đào tạo quy mô nhỏ. Khách hàng mục tiêu rất rõ ràng: các doanh nghiệp được quản lý và chính phủ đang vận hành các mô hình biên giới hoặc độc quyền và các đại lý tự trị cùng với dữ liệu nhạy cảm nhất của họ.

Phương pháp tiếp cận kỹ thuật giải quyết sự căng thẳng lâu dài trong điện toán an toàn. Dữ liệu thường được mã hóa khi được lưu trữ hoặc truyền đi, nhưng phải được mở khóa trong bộ nhớ trong khi máy tính xử lý dữ liệu đó - thời điểm dữ liệu bị lộ nhiều nhất. Được xây dựng trên cùng loại silicon với TPU 8t và kết hợp với các máy chủ CPU AMD EPYC thế hệ thứ 5, TPU 8tx xây dựng tính năng bảo mật trực tiếp vào lớp phần cứng, giữ cho dữ liệu nhạy cảm và trọng lượng mô hình được bảo vệ và cách ly ngay cả khi đang sử dụng.

Hệ thống này sử dụng cùng một mạng "Boardfly" có độ trễ thấp mà Google đã tạo để lý luận theo thời gian thực, nghĩa là nó có thể xử lý đồng thời tính toán cấp độ đào tạo và suy luận nhanh. Google cho biết điều này cho phép các tổ chức tinh chỉnh các mô hình bằng dữ liệu riêng tư, chắt lọc các mô hình lớn thành các mô hình nhỏ hơn và đào tạo các nhân viên thông qua học tập tăng cường trên một hệ thống duy nhất – mà không cần di chuyển dữ liệu nhạy cảm giữa các cụm riêng biệt.

TPU 8i Max: Tấn công bức tường ký ức

TPU 8i Max giải quyết hoàn toàn một hạn chế khác. Google viết: “Khi hàng chục tác nhân AI làm việc cùng nhau trên toàn bộ cơ sở mã phần mềm hoặc hàng giờ video cùng một lúc, băng thông bộ nhớ sẽ nhanh chóng trở thành nút cổ chai”. Câu trả lời của công ty nằm ở kiến ​​trúc: hai chip TPU 8i có độ trễ thấp được kết hợp trên một gói duy nhất.

Kết quả là một hệ thống có thể mở rộng quy mô điện toán và bộ nhớ theo từng bước — mang lại gấp đôi khả năng tính toán, gấp đôi SRAM và gấp đôi băng thông HBM của TPU 8i. Và vì TPU 8i Max phù hợp gấp đôi lượng silicon trong phạm vi giá đỡ hiện có, Google cho biết các trung tâm dữ liệu có thể triển khai công suất tính toán nhiều hơn đáng kể trên mỗi foot vuông và trên mỗi watt, một cân nhắc có ý nghĩa khi công suất và không gian sàn là những hạn chế ràng buộc đối với việc mở rộng công suất AI.

Tại sao lại là hệ thống chứ không phải chip

Một sắc thái quan trọng trong thông báo hôm thứ Hai là Google đang đóng khung những hệ thống này như những hệ thống mới chứ không phải những con chip mới. Công ty giải thích, việc thiết kế một con chip là một quá trình kéo dài nhiều năm để bố trí hàng tỷ bóng bán dẫn bị ràng buộc bởi các mốc thời gian vật lý và sản xuất. Một hệ thống - cách bố trí tính toán, kết nối mạng, lưu trữ và đóng gói xung quanh một con chip - có thể được điều chỉnh nhanh hơn nhiều.

Tính mô-đun đó là cốt lõi của chiến lược Siêu máy tính AI của Google và nó là thứ cho phép bốn hệ thống chuyên biệt xuất xưởng trong một thế hệ duy nhất. Google cũng nhấn mạnh mức độ cơ sở hạ tầng AI của riêng họ hiện được sử dụng để xây dựng phần cứng: công ty sử dụng hệ thống học tăng cường AlphaChip của DeepMind và cho biết Gemini hiện giúp cung cấp bố cục chip "trong vài giờ thay vì vài tuần". Google gọi đây là "sự đồng thiết kế thực sự" và sự khác biệt duy nhất.

Bối cảnh cạnh tranh

Việc mở rộng diễn ra trong bối cảnh cạnh tranh ngày càng gay gắt trong các máy gia tốc AI. Việc triển khai TPU đã thu hút sự chú ý vì vai trò của chúng trong việc phục vụ các mô hình bên ngoài bức tường của Google — công ty lưu ý rằng TPU hiện cung cấp năng lượng cho việc đào tạo và phục vụ cho các mô hình Gemini, khối lượng công việc đại lý, dịch vụ khách hàng của Google Cloud và gần đây nhất là triển khai trực tiếp TPU vào trung tâm dữ liệu của chính khách hàng. Google mô tả TPU là "một ngành kinh doanh đang phát triển nhanh chóng".

Nội dung thông báo, bao gồm các phần từ TechPowerUp và Electronics Weekly, đã định hình động thái này theo các điều kiện cạnh tranh rõ ràng - Google mở rộng dòng sản phẩm silicon tùy chỉnh của mình khi xử lý khối lượng công việc AI có thể chạy trên phần cứng NVIDIA. Về phần mình, NVIDIA đã tiếp tục vận chuyển các thế hệ kế tiếp của hệ thống quy mô giá đỡ của riêng mình, khiến người mua cơ sở hạ tầng AI có sự lựa chọn ngày càng đáng tin cậy giữa silicon thương mại và silicon tùy chỉnh.

Ý nghĩa của nó đối với nhà phát triển

Đối với các nhà phát triển, ý nghĩa thực tế không nằm ở bất kỳ tiêu chuẩn đơn lẻ nào mà quan trọng hơn ở sự phù hợp. Các nhóm xây dựng các sản phẩm tác nhân xử lý các tài liệu dài, cơ sở mã lớn hoặc bối cảnh video mở rộng đã đạt đến mức trần băng thông bộ nhớ mà FLOPS thô không giải quyết được — vấn đề mà 8i Max được tạo ra để giải quyết. Các nhóm tài chính, y tế và chính phủ không thể chuyển khối lượng công việc nhạy cảm sang cơ sở hạ tầng dùng chung vì dữ liệu phải được giải mã trong quá trình xử lý giờ đây đã có tùy chọn hỗ trợ phần cứng ở 8tx.

Google kết hợp tin tức về phần cứng với tin nhắn trợ năng phần mềm, chỉ ra các thông báo gần đây của PyTorch và mục tiêu đã nêu của họ là làm cho TPU "dễ sử dụng như phần cứng có mục đích chung". Công ty đã tổ chức buổi phát sóng vào thứ Hai để trình bày chi tiết về các hệ thống mới và cho biết khách hàng có thể khám phá toàn bộ dòng cơ sở hạ tầng trên trang web Google Cloud.

Đi trước AI

Silicon tùy chỉnh đang trở thành chiến trường chiến lược của việc xây dựng AI. Đi trước AI với AI Buzz Wire — phá vỡ phạm vi phủ sóng của phần cứng, mô hình AI và các công ty xây dựng chúng.

Đọc thêm tin tức về AI →