Google đã mở rộng dòng TPU thế hệ thứ tám của mình với hai hệ thống chuyên dụng mới: TPU 8i Max, kết hợp hai chip suy luận trên một gói duy nhất cho khối lượng công việc tác nhân có ngữ cảnh dài và TPU 8tx, được xây dựng để suy luận bí mật, tách biệt bằng phần cứng nhằm vào các doanh nghiệp và chính phủ được quản lý. Phần cứng của Tom đã báo cáo các bổ sung vào thứ năm.

Động thái này hoàn thiện một dòng sản phẩm mà Google đã bắt đầu vào tháng 4 với TPU 8t, được thiết kế để đào tạo AI quy mô lớn và TPU 8i, được xây dựng cho công việc suy luận có mục đích chung như lấy mẫu, phục vụ và lý luận. Với các biến thể mới, dòng sản phẩm thế hệ thứ tám hiện bao gồm đào tạo, suy luận tiêu chuẩn, suy luận an toàn và suy luận tác nhân băng thông tối đa — một ma trận các tùy chọn phản ánh cách các doanh nghiệp hiện sử dụng phần cứng AI khác nhau như thế nào. Tin tức về chip này là một phần trong phạm vi đưa tin về những phát triển AI mới nhất của chúng tôi trên thị trường phần cứng AI.

Chip mới làm gì

TPU 8i Max đặt hai chip 8i trên một gói, tăng gấp đôi băng thông tính toán, SRAM và bộ nhớ băng thông cao của 8i ban đầu. Thiết kế nhắm đến công việc tác nhân theo ngữ cảnh dài — các kịch bản trong đó tác nhân AI thực hiện các bối cảnh làm việc rất lớn qua các nhiệm vụ gồm nhiều bước.

Tom's Hardware đóng khung việc tăng gấp đôi băng thông như một cách giải quyết cái mà Google gọi là bức tường bộ nhớ, nút thắt băng thông trở nên nghiêm trọng "khi hàng chục tác nhân AI làm việc cùng nhau trên toàn bộ cơ sở mã phần mềm." Cửa sổ ngữ cảnh lớn hơn — với các mô hình lớn hơn nhắm mục tiêu khoảng 1 triệu mã thông báo — có nghĩa là bộ nhớ đệm KV lớn hơn, một phần được giữ trong SRAM và mỗi mã thông báo mới được tạo phải đọc lại bộ nhớ đệm đó từ bộ nhớ. Việc tăng gấp đôi băng thông HBM trong một gói duy nhất sẽ tấn công chính xác nút cổ chai đó và ấn phẩm lưu ý rằng đây là một lộ trình khác với cách tiếp cận của Nvidia trong việc ghép nối loại chip thứ hai để giải mã với tầng lưu trữ cho ngữ cảnh.

Trong khi đó, TPU 8tx được xây dựng trên cùng một loại silicon như 8t hướng đến đào tạo đã được công bố trước đó, nhưng được định cấu hình cho tính toán bí mật: suy luận tách biệt bằng phần cứng dành cho các doanh nghiệp và chính phủ được quản lý cần bằng chứng rằng dữ liệu và mô hình của họ được bảo vệ trong quá trình xử lý. Hệ thống này hoán đổi CPU chủ Axion dựa trên Arm được 8t và 8i sử dụng lấy bộ xử lý AMD EPYC thế hệ thứ 5 và sử dụng mạng Boardfly của Google.

Đáng chú ý, Google vẫn chưa chia sẻ thông số kỹ thuật chi tiết, giá cả hoặc ngày giao hàng cho hệ thống mới, vì vậy người mua hiện có hình ảnh hiển thị và định vị hơn là sản phẩm có thể đặt hàng.

Kết xuất mà Google công bố cùng với thông báo cho thấy một bo mạch TPU 8tx mang bốn chip, cùng với bốn bo mạch TPU 8i Max, mỗi bo mạch chứa hai chip trên một gói duy nhất – một minh họa vật lý cho thấy dòng sản phẩm thế hệ thứ tám đã khác xa như thế nào so với mô hình máy gia tốc một chip phù hợp với tất cả các thế hệ trước.

TPU Sync: lớp phần mềm cho bộ nhớ tác nhân

Bên cạnh silicon, Google đang dựa vào phần mềm để giải quyết vấn đề bộ nhớ tác nhân. TPU Sync là "lớp trạng thái mô hình dành cho cụm TPU" mã nguồn mở tự động sắp xếp các bộ nhớ đệm KV lớn ra khỏi chip trong một phần nghìn giây, chuyển chúng xuống DRAM lưu trữ và thử nghiệm bộ nhớ chia sẻ.

Theo Google, điều này có thể giảm hơn 90% độ trễ truyền bộ đệm KV, với mức tăng tương ứng về thời gian tạo ra mã thông báo đầu tiên - độ trễ mà người dùng gặp phải trước khi hệ thống AI bắt đầu phản hồi. Đối với khối lượng công việc tác nhân, trong đó một phiên có thể bao gồm hàng chục lệnh gọi mô hình tuần tự mà mỗi lệnh cần truy cập vào cùng một bối cảnh tích lũy, việc quản lý bộ đệm đang trở nên quan trọng như tính toán thô.

Tại sao nó lại quan trọng đối với thị trường phần cứng AI

TPU đã trở thành một lĩnh vực kinh doanh đang phát triển nhanh chóng của Google, công ty có gần 100 khách hàng mua chip - bao gồm cả Meta, công ty đã áp dụng Google TPU trong các trung tâm dữ liệu của mình, đánh dấu một trong những cuộc xâm nhập cạnh tranh đáng kể nhất vào lãnh thổ của Nvidia. Công ty cho biết, cách tiếp cận mang tính mô-đun hơn mà Google đang thực hiện với gia đình thế hệ thứ tám, cho phép họ cung cấp các hệ thống chuyên biệt "trong vài tháng thay vì nhiều năm", giúp khách hàng đó phát triển.

Thời điểm công bố thật ấn tượng. Việc mở rộng chip của Google diễn ra cùng ngày Nvidia thông báo rằng Giám đốc điều hành Jensen Huang đã từ chức, với Giám đốc tài chính Colette Kress được bổ nhiệm làm Giám đốc điều hành tạm thời - một sự gián đoạn lãnh đạo bất thường tại chính công ty có GPU thống trị thị trường mà TPU của Google đang bị loại bỏ. Hai sự kiện này không liên quan đến nhau về nguyên nhân, nhưng chúng cùng nhau nhấn mạnh mức độ cạnh tranh và biến động của thị trường cơ sở hạ tầng AI.

Đối với các doanh nghiệp đang đánh giá cơ sở hạ tầng AI, tín hiệu bổ sung cho thấy bộ lựa chọn đang mở rộng: silicon được tối ưu hóa cho đào tạo, suy luận chung, suy luận an toàn cho dữ liệu được quản lý và các gói băng thông tối đa cho nhóm đại lý đang trở thành các danh mục sản phẩm riêng biệt thay vì máy gia tốc một kích cỡ phù hợp cho tất cả. Khi Google công bố chi tiết về giá và tính sẵn có, câu hỏi thực tế dành cho người mua sẽ là liệu băng thông gấp đôi của 8i Max có chuyển thành thông lượng đủ cho các nhóm đại lý để biện minh cho mức phí bảo hiểm so với việc triển khai 8i tiêu chuẩn hay không.

Tính mô-đun cũng có logic từ phía cung cấp. Thay vì chờ đợi nhiều năm để thiết kế thế hệ tiếp theo hoàn thành toàn bộ phần cứng, Google có thể kết hợp lại silicon hiện có — như họ đã làm bằng cách chuyển silicon 8t vào gói suy luận an toàn với CPU chủ khác — để tiếp cận các phân khúc thích hợp nhanh hơn, trong khi vẫn giữ một ngăn xếp phần mềm chung trên tất cả các biến thể. Bản thân tốc độ đó là một vũ khí cạnh tranh trong một thị trường mà yêu cầu của khách hàng đang thay đổi hàng quý.

---

Đi trước AI

Nhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.

Đọc thêm tin tức về AI →