Chi phí tăng nhanh nhất trong trí tuệ nhân tạo có thể không phải là chip - mà có thể là điện cung cấp cho chúng. Vào ngày 12 tháng 10, Đại học Michigan thông báo NVIDIA, công ty điện toán AI thống trị thế giới, đang đánh giá cách bổ sung hai công cụ tiết kiệm năng lượng U-M vào Megatron-LM, nền tảng nguồn mở được sử dụng rộng rãi của NVIDIA để đào tạo các mô hình ngôn ngữ lớn. Theo trường đại học, phần mềm có thể cắt giảm tới 50% năng lượng cần thiết để đào tạo AI mà không ảnh hưởng đến tốc độ đào tạo hoặc hiệu suất mô hình.
Tin tức này còn quan trọng hơn hồ sơ xuất bản của một phòng thí nghiệm. Megatron-LM không phải là một cơ sở mã nghiên cứu thích hợp: các công ty có thể sử dụng nó trực tiếp hoặc làm nền tảng cho các nền tảng đào tạo riêng, tùy chỉnh của riêng họ và nó là nền tảng được sử dụng để đào tạo các mẫu Nemotron hàng đầu của NVIDIA mà người dùng có thể tải xuống phần cứng của riêng họ. Nếu các công cụ U-M được đưa vào Megatron-LM, những cải tiến về hiệu quả được phát triển trong phòng thí nghiệm học thuật sẽ được áp dụng rộng rãi trong các hoạt động đào tạo AI trên thế giới. Để biết thông tin liên tục về cuộc đua cơ sở hạ tầng đằng sau AI, hãy theo dõi những phát triển AI mới nhất trên trang chủ của chúng tôi.
Kareus và Perseus thực sự làm gì
Hai công cụ này tấn công các nguồn lãng phí khác nhau trong quá trình đào tạo phân tán và mức tiết kiệm của chúng.
Perseus: Quản lý tốc độ xử lý
Perseus giải quyết vấn đề điện toán được cung cấp quá mức. Trong một đợt huấn luyện lớn, không phải mọi bộ xử lý đều thực hiện công việc hữu ích tại mọi thời điểm, tuy nhiên tất cả chúng đều tiêu thụ điện năng. Theo U-M, bằng cách quản lý tốc độ bộ xử lý để phù hợp với công việc thực tế có sẵn tại mỗi thời điểm trong quá trình đào tạo, Perseus cắt giảm tới 30% năng lượng cần thiết để đào tạo AI.
Kareus: Thời gian thông minh hơn cho tính toán và giao tiếp
Kareus nhắm vào một vấn đề tinh vi hơn. Việc đào tạo các mô hình hiện đại đòi hỏi phải phối hợp hàng trăm đến hàng nghìn bộ xử lý và công việc được phân chia giữa tính toán và giao tiếp giữa các chip. Kareus giảm năng lượng đào tạo thêm từ 15% đến 30% bằng cách tìm ra cách chia sẻ tài nguyên và thời gian hiệu quả nhất giữa các nhiệm vụ đào tạo và giao tiếp đó — lên lịch cho từng nhiệm vụ để không phải ngồi chờ nhiệm vụ khác.
Trường đại học cho biết, cùng với nhau, các công cụ này có thể tiết kiệm khoảng một nửa năng lượng được sử dụng để đào tạo AI trong khi vẫn mang lại tốc độ đào tạo và hiệu suất mô hình cuối cùng như nhau. Kareus cũng là một kết quả được bình duyệt: công cụ này đã được trình bày tại Hội nghị chuyên đề USENIX về Thiết kế và Triển khai Hệ điều hành (OSDI) vào tháng 7, một trong những địa điểm hàng đầu dành cho nghiên cứu hệ thống.
Tại sao sự quan tâm của NVIDIA lại là câu chuyện có thật
Nghiên cứu hiệu quả học thuật thường phải đối mặt với một chặng đường dài để đi đến sản xuất. Cái này có thể khác, vì nó hạ cánh ở đâu. Một sinh viên tiến sĩ, Ruofan Wu, đã dành mùa hè vừa qua tại NVIDIA để tích hợp phần mềm U-M vào Megatron-LM như một phần của quá trình thực tập - nghĩa là các công cụ này không phải là một đề xuất mà là mã hoạt động bên trong kho đào tạo của NVIDIA, hiện đang được đánh giá chính thức.
Wu, nghiên cứu sinh tiến sĩ về khoa học máy tính và kỹ thuật tại U-M, cho biết: “AI đang bị hạn chế về năng lượng khi các mô hình trở nên lớn hơn và nhiều người muốn đào tạo mô hình hơn, nhưng chúng tôi có thể đạt được tốc độ và hiệu suất đào tạo tương tự bằng cách sử dụng ít năng lượng hơn”. Cô nói thêm: “Có rất nhiều cơ hội để tối ưu hóa việc sử dụng năng lượng AI ở cấp độ phần mềm và phần cứng, và một trong những phần bổ ích nhất của kỳ thực tập là cơ hội đưa ý tưởng từ nghiên cứu của tôi vào hệ thống sản xuất”.
Từ đó - hạn chế về quyền lực - là khẩu hiệu mới của ngành. Nhóm nghiên cứu của U-M, bao gồm các nghiên cứu sinh tiến sĩ Jeff Ma và Jae-Won Chung cùng với phó giáo sư Mosharaf Chowdhury, đang hợp tác với NVIDIA về việc tích hợp. Khung kế hoạch của nhóm rất đơn giản: mục tiêu là cho phép AI thực hiện nhiều công việc hữu ích hơn với ít năng lượng và chi phí hơn bằng cách tìm ra cách hiệu quả nhất để phối hợp đào tạo trên hàng trăm đến hàng nghìn bộ xử lý.
Năng lượng hiện là hạn chế hạng nhất
Quy mô đào tạo biên giới là yếu tố biến phần trăm tiết kiệm thành con số chiến lược. Meta cho biết trong tuần này rằng các mô hình Muse Wonder mới của họ đã được đào tạo tại Prometheus, nơi được mô tả là một trung tâm dữ liệu quy mô gigawatt. Khi một chiến dịch huấn luyện duy nhất diễn ra ở quy mô đó, việc giảm năng lượng ở mức phần trăm không phải là sai số làm tròn; đó là sự khác biệt giữa việc có phù hợp với một chương trình đào tạo trong ngân sách điện năng hay không.
Kinh tế tuân theo vật lý. Năng lượng đã trở thành một trong những nguồn tài nguyên quan trọng để mở rộng AI. Phần mềm giúp giảm một nửa hóa đơn tiền điện cho một đợt đào tạo — sử dụng phần cứng hiện có — thay đổi phép tính cho mỗi công ty đào tạo mô hình của riêng mình và đặc biệt đối với những công ty nhỏ hơn mà chi phí năng lượng là hạn chế ràng buộc.
Nó cũng điều chỉnh lại cuộc tranh luận về môi trường xung quanh AI. Phần lớn cuộc thảo luận công khai tập trung vào năng lượng suy luận - năng lượng tiêu thụ cho mỗi truy vấn chatbot. Nhưng đào tạo là nơi tập trung các khối năng lượng lớn nhất và cách tiếp cận phần mềm không phân biệt nhà cung cấp, được đánh giá ngang hàng giúp cắt giảm tới một nửa mang lại điều gì đó hiếm hơn lộ trình phần cứng: mức tăng hiệu quả có thể đạt được với bản phát hành nguồn mở tiếp theo thay vì xây dựng trung tâm dữ liệu tiếp theo.
Điều gì xảy ra tiếp theo
Trường đại học cho biết NVIDIA đang đánh giá cách bổ sung phần mềm này vào nền tảng đào tạo nguồn mở của mình. Nếu nó được vận chuyển trong Megatron-LM, việc áp dụng có thể lan rộng nhanh chóng do khuôn khổ này được sử dụng rộng rãi như thế nào trong toàn ngành và trong giới học thuật. Chương trình nghiên cứu rộng hơn của nhóm U-M tiếp tục tìm cách tiết kiệm năng lượng trên toàn bộ phần mềm và phần cứng — một chương trình nghị sự cách đây vài năm có vẻ thích hợp và giờ đây trông giống như trung tâm của trò chơi.
