Thông tin chi tiết về Máy tư duy Đào tạo 4-bit từ đầu đến cuối trên phần cứng Nvidia GB300

Think Machines Lab, công ty nghiên cứu do cựu giám đốc công nghệ OpenAI Mira Murati thành lập, đã xuất bản bản giải thích kỹ thuật chi tiết về cách nó đào tạo các mô hình ngôn ngữ lớn gần như hoàn toàn với độ chính xác 4 bit - một kỹ thuật mà công ty cho biết sẽ mở ra tốc độ lớn và tiết kiệm bộ nhớ trên phần cứng trung tâm dữ liệu mới nhất của Nvidia.

Bài đăng trên blog có tiêu đề "Đào tạo 4-bit từ đầu đến cuối" và được xuất bản trên trang web của công ty vào ngày 13 tháng 11, trình bày về sự đánh đổi bằng số đằng sau quá trình đào tạo có độ chính xác thấp và mô tả cách nhóm quản lý chúng trong khi đào tạo mô hình Inkling 2 Small. Đối với những độc giả theo dõi những phát triển AI mới nhất, bài đăng này cung cấp một cái nhìn công khai hiếm hoi về các quyết định kỹ thuật nhằm xác định chi phí thực sự của một hoạt động đào tạo ở quy mô biên giới là bao nhiêu.

Tại sao ít bit hơn có nghĩa là đào tạo nhanh hơn

Việc đào tạo một mô hình ngôn ngữ lớn bao gồm việc tính toán và lưu trữ số lượng lớn các con số. Việc sử dụng ít bit hơn cho mỗi giá trị sẽ giảm mức sử dụng bộ nhớ và cho phép GPU thực hiện phép tính nhanh hơn. Cái giá phải trả là độ chính xác: ít bit hơn có nghĩa là ít số có thể biểu thị hơn, do đó các giá trị phải được làm tròn mạnh mẽ hơn.

Công ty minh họa vấn đề bằng một ví dụ đơn giản. Nếu một định dạng chỉ có thể biểu thị số 3 và 4 thì việc lưu trữ 3,2 yêu cầu làm tròn thành 3, gây ra lỗi lượng tử hóa là 0,2. Một lỗi làm tròn đơn lẻ là không đáng kể, nhưng trong quá trình đào tạo, những lỗi này tích lũy qua các lớp và các bước tối ưu hóa, đồng thời chúng có thể cản trở chính quá trình học.

"Đây là thách thức trọng tâm của việc đào tạo với độ chính xác thấp: làm thế nào chúng ta có thể hưởng lợi từ việc tính toán nhanh hơn mà không gây ra các lỗi ảnh hưởng đến việc học?" công ty đã viết trong bài.

Ba hình thức, một lần tập luyện

Thay vì cam kết ở một mức độ chính xác duy nhất, Máy tư duy sử dụng ba định dạng số ở các giai đoạn đào tạo khác nhau: BF16, MXFP8 và NVFP4. Mỗi định dạng có độ chính xác cố định nhưng tốc độ của nó phụ thuộc vào phần cứng chạy nó.

Công ty đào tạo trên nền tảng Grace Blackwell Ultra của Nvidia, GB300, được thiết kế đặc biệt để tăng tốc độ nhân ma trận trong NVFP4. Theo bài đăng, NVFP4 lưu trữ các giá trị với số bit ít hơn 3,6 lần so với BF16 trong khi chạy nhanh hơn tới 6 lần trên hệ thống GB300. Về mặt thông lượng thô, công ty liệt kê hiệu suất GB300 ở mức khoảng 15 PFLOPS trong NVFP4, 5 PFLOPS trong MXFP8 và 2,5 PFLOPS trong BF16.

Điều đáng chú ý là tính năng nén mạnh mẽ của NVFP4 gây ra nhiều lỗi lượng tử hóa hơn nhiều so với các định dạng rộng hơn. Lỗi đó có thể được chấp nhận ở một số giai đoạn đào tạo và không được chấp nhận ở những giai đoạn khác, đó là lý do tại sao công ty xử lý từng giai đoạn một cách riêng biệt.

Giai đoạn khác nhau, quy tắc khác nhau

Bài đăng trên blog chia quá trình đào tạo thành bốn giai đoạn — tiến trình đào tạo trước và lùi, trình lấy mẫu học tăng cường và trình huấn luyện RL — đồng thời chỉ định cho mỗi giai đoạn một sự cân bằng ưu tiên khác nhau giữa giảm thiểu lỗi, giảm thiểu sai lệch, tăng tốc độ và giảm mức sử dụng bộ nhớ.

Tốc độ quan trọng nhất trong các bước có khối lượng lớn: đào tạo trước, chạy trên hàng nghìn tỷ mã thông báo và lấy mẫu RL, tạo ra khối lượng triển khai lớn. Tuy nhiên, những đường chuyền ngược là một trường hợp đặc biệt. Bài đăng giải thích rằng mức trung bình vượt qua ngược trên nhiều mã thông báo trong một đợt, điều này làm giảm tác động của các lỗi làm tròn được phân phối ngẫu nhiên – nhưng chúng rất nhạy cảm với độ lệch lượng tử hóa, sự trôi dạt hệ thống xảy ra khi các giá trị liên tục làm tròn theo một hướng. Không giống như nhiễu ngẫu nhiên, độ lệch đó có thể kết hợp giữa các lớp, mẫu và các bước huấn luyện.

Công ty cho biết họ đã quản lý những sự đánh đổi này trong khi đào tạo Inkling 2 Small, mô hình hỗn hợp các chuyên gia có trọng lượng mở mà họ đã phát hành vào đầu tháng này theo giấy phép Apache 2.0. Bài đăng không khẳng định rằng mọi phần của quá trình chạy đều chạy ở 4 bit; đúng hơn, nó mô tả một chiến lược đầu cuối trong đó độ chính xác của từng thành phần được chọn có chủ ý thay vì kế thừa theo mặc định.

Tại sao việc đào tạo có độ chính xác thấp lại quan trọng

Kinh tế ở đây rất đơn giản. Điện toán là chi phí chiếm ưu thế trong việc phát triển mô hình biên giới và các nhà cung cấp phần cứng đang chạy đua để bổ sung khả năng tăng tốc có độ chính xác thấp cho mỗi thế hệ chip mới. Nvidia đã định vị hỗ trợ NVFP4 trong nền tảng Blackwell Ultra của mình như một tính năng hàng đầu và các trình tăng tốc đối thủ từ AMD, Google và các công ty khác quảng cáo các định dạng có độ chính xác giảm của riêng họ.

Nếu các phòng thí nghiệm nghiên cứu có thể đẩy nhiều quy trình đào tạo sang số học 4 bit một cách an toàn thì cùng một ngân sách phần cứng sẽ mua được nhiều thử nghiệm hơn, nhiều mã thông báo hơn hoặc các mô hình lớn hơn. Đó là một lợi thế có ý nghĩa trong một thị trường mà việc tiếp cận các máy gia tốc tiên tiến còn khan hiếm và đắt đỏ. Nó cũng kết hợp với sự thúc đẩy rộng rãi hơn của ngành đối với các kỹ thuật hiệu quả như suy luận nhận biết lượng tử hóa và giải mã suy đoán, cả hai đều tận dụng được nhiều khả năng hơn từ phần cứng cố định.

Bài đăng cũng là tín hiệu cho thấy cộng đồng nghiên cứu đang hướng tới đâu. Việc đào tạo với độ chính xác thấp từ lâu đã được coi là quá rủi ro đối với bất kỳ điều gì ngoài suy luận, bởi vì các lỗi làm tròn được cho là làm hỏng việc học. Phân tích cẩn thận theo từng giai đoạn - giống như phân tích mà Máy tư duy đã xuất bản - là cách giả định đó được kiểm tra và, nếu có thể, bị đảo ngược.

Từ bài đăng trên blog đến tạ mở

Điều làm cho tiết lộ này trở nên đáng chú ý là nó không hoàn toàn mang tính lý thuyết. Công ty đã gắn trực tiếp kỹ thuật này vào một mô hình mà nó đã thực sự xuất xưởng. Inkling 2 Small đã được phát hành với phiên bản có thể tải xuống vào đầu tháng 11 và bài đăng mới giải thích chiến lược số học đằng sau quá trình đào tạo của nó. Trên thực tế, những người thực hành tải xuống mô hình sẽ nhận được một sản phẩm hoạt động của phương pháp có độ chính xác thấp mà công ty mô tả.

Think Machines đã mở cửa một cách bất thường cho một phòng thí nghiệm quy mô biên giới, xuất bản các bài đăng blog kỹ thuật cùng với các bản phát hành mô hình của nó. Sự minh bạch đó mang lại cho các nhà nghiên cứu bên ngoài một điều hiếm có: một tài khoản được ghi lại, có thể tái tạo về cách một chương trình đào tạo hiện đại xử lý các thực tế số học lộn xộn của số học có độ chính xác hỗn hợp.

Đối với ngành công nghiệp rộng lớn hơn, thông điệp là đào tạo 4 bit đã chuyển từ sự tò mò nghiên cứu sang kỹ thuật sản xuất. Khi nhiều phòng thí nghiệm áp dụng các chiến lược tương tự, khoảng cách giữa hiệu suất cao nhất của phần cứng theo lý thuyết và thông lượng đào tạo thực tế sẽ thu hẹp — và chi phí cho các mô hình có khả năng đào tạo sẽ tiếp tục giảm.

Đi trước AI

Các kỹ thuật đằng sau các mô hình biên giới phát triển hàng tuần. Theo dõi AI Buzz Wire để có báo cáo rõ ràng, có nguồn gốc về nghiên cứu định hình lĩnh vực này.

Đọc thêm tin tức về AI →