NVIDIA đã phát hành Nemotron 3.5 Super VL, một mô hình đa phương thức mở, có thể tùy chỉnh nhằm vào các doanh nghiệp xây dựng các tác nhân AI chuyên dụng. Mô hình này sử dụng kiến ​​trúc hỗn hợp 120 tỷ tham số gồm các chuyên gia, chỉ kích hoạt 12 tỷ tham số trên mỗi mã thông báo, một thiết kế mà NVIDIA cho biết cân bằng giữa công suất quy mô biên giới với hiệu quả suy luận. Trọng lượng có sẵn trên Ôm Mặt với độ chính xác BF16 và NVIDIA đã xuất bản hướng dẫn kỹ thuật cùng với bản phát hành.

Super VL lọt vào dòng mô hình mở đang mở rộng của NVIDIA với tư cách là chuyên gia đa phương thức. Theo công ty, các mẫu Nemotron 3.5 Lightning nhỏ hơn xử lý các tác vụ văn bản có khối lượng lớn, trong khi Nemotron 3 Ultra tiên tiến xử lý việc lập kế hoạch và điều phối phức tạp — cho phép các nhóm định tuyến từng bước của quy trình làm việc của tổng đài viên theo kích thước mô hình phù hợp. Đây là động thái mới nhất trong nỗ lực thúc đẩy ZDNET được mô tả là một bước tiến khác đối với AI trọng lượng mở của Hoa Kỳ. Nếu bạn đang theo dõi cuộc đua hạng cân mở, phạm vi đưa tin của chúng tôi về các phiên bản mô hình mở gần đây sẽ có bức tranh toàn cảnh hơn.

Một mô hình cho văn bản, hình ảnh, tài liệu và video

Sân cốt lõi là sự hợp nhất. Super VL kết hợp lý luận, làm theo hướng dẫn và sử dụng công cụ với khả năng hiểu văn bản, hình ảnh, tài liệu và video, vì vậy các nhóm không cần phải triển khai các mô hình văn bản và ngôn ngữ thị giác riêng biệt hoặc bối cảnh nhiệm vụ đưa đón giữa chúng. NVIDIA cho biết chương trình đào tạo trực quan của họ bao gồm biểu đồ, bảng, nhận dạng ký tự quang học, tài liệu nhiều trang và video, với quy trình tinh chỉnh được giám sát gồm hai giai đoạn, kết hợp bằng chứng trực quan với lý luận, trò chuyện, an toàn và dữ liệu ngữ cảnh dài.

Quy trình công việc mục tiêu là những quy trình mà doanh nghiệp thường gặp phải: nhân viên dịch vụ khách hàng phải đọc tài liệu chính sách của công ty, nhân viên nghiên cứu kết nối bằng chứng giữa các nguồn hoặc nhân viên tài liệu diễn giải biểu đồ và liên kết nó với một bảng ở nơi khác trong cùng một hồ sơ. Trong mỗi trường hợp, mô hình cần xem tài liệu và lý do trong cùng một cửa sổ ngữ cảnh.

Tuyên bố về thông lượng: Lên tới 5 lần trên một GPU

Hiệu quả là nơi NVIDIA đang vẽ ra những đường nét sắc nét nhất. Công ty tuyên bố Nemotron 3.5 Super VL mang lại thông lượng cao hơn tới 5 lần cho các tác vụ tác nhân so với các mô hình mở khác cùng loại kích thước của nó trên một GPU duy nhất và chỉ ra các điểm chuẩn hiển thị hơn 600 mã thông báo mỗi giây trên các tác vụ tác nhân Chỉ số phân tích trí tuệ nhân tạo thông qua điểm cuối suy luận Baseten.

Một số kỹ thuật ẩn đã thúc đẩy những con số đó. NVIDIA nhấn mạnh LiLiCorr, một phương pháp giải mã suy đoán mở, cùng với độ chính xác hỗn hợp NVFP4, dự đoán nhiều mã thông báo và tái sử dụng ngữ cảnh giữa các lượt tác nhân — một sự tối ưu hóa có ý nghĩa dành cho các tác nhân tổ chức các cuộc hội thoại kéo dài bằng các công cụ. Đối với các doanh nghiệp điều hành các đại lý không ngừng nghỉ, thông lượng trên mỗi GPU thường là sự khác biệt giữa một sản phẩm khả thi và cơ cấu chi phí không thể sử dụng được.

Sau đào tạo là điểm mấu chốt

NVIDIA nói rõ rằng mô hình cơ sở là điểm khởi đầu chứ không phải là sản phẩm hoàn chỉnh. Các nhà phát triển có thể tùy chỉnh Super VL với thư viện NeMo bằng cách sử dụng tính năng tinh chỉnh có giám sát và LoRA để dạy hành vi dành riêng cho từng miền, sau đó áp dụng phương pháp học tăng cường thông qua NeMo RL và NeMo Gym trong các môi trường phản ánh hoạt động của chính họ. Công ty cho biết các tổ chức về an ninh mạng, tài chính và chăm sóc sức khỏe đã đào tạo sau mô hình để đánh bại các lựa chọn thay thế tiên phong trong quy trình sản xuất của họ, một tuyên bố khó xác minh độc lập nhưng phù hợp với định vị doanh nghiệp-đại lý.

Để hỗ trợ công việc đó, NVIDIA đang phát hành các tập dữ liệu mở trên Hugging Face cùng với các trọng số, bao gồm dữ liệu hội thoại và sử dụng công cụ tác nhân, các bộ lý luận tài chính và gọi công cụ, dữ liệu trò chuyện và làm theo hướng dẫn, dữ liệu chuyển đổi và dịch ngữ cảnh dài, dữ liệu công bằng và 40 bộ dữ liệu ngôn ngữ thị giác. Prime Intellect đã xuất bản một công thức đào tạo sau mô hình cho công việc kinh doanh có tầm nhìn dài hạn, một dấu hiệu sớm cho thấy hệ sinh thái đang coi việc phát hành là một nền tảng nghiêm túc. NVIDIA cũng đã xuất bản một cuốn sách hướng dẫn sử dụng trên GitHub bao gồm việc tùy chỉnh và công ty nhấn mạnh rằng trọng lượng mở có thể được triển khai trong môi trường cục bộ, trung tâm dữ liệu hoặc đám mây để đáp ứng các yêu cầu về cơ sở hạ tầng và nơi lưu trữ dữ liệu — tính linh hoạt mà người mua quản lý luôn yêu cầu và các API đóng không thể cung cấp.

Ý nghĩa của cuộc đua hạng cân mở

Bản phát hành thu hẹp khoảng cách giữa các mô hình mở và đóng trong phân khúc mà các doanh nghiệp thực sự triển khai: hệ thống đa phương thức cỡ trung dành cho công việc của tác nhân nặng về tài liệu. Vì các trọng số có thể chạy trong môi trường cục bộ, trung tâm dữ liệu hoặc đám mây, Super VL cung cấp cho các ngành được quản lý một tùy chọn mà các API biên giới không thể — lưu giữ các tài liệu nhạy cảm trên cơ sở hạ tầng của riêng họ trong khi vẫn hiểu được biểu đồ, bảng và video.

Việc đọc cạnh tranh rất đơn giản. Meta, Alibaba, DeepSeek và Liquid AI đều đã xuất xưởng các mô hình trọng lượng mở nhắm đến các đại lý trong năm nay và NVIDIA - công ty bán phần cứng mà mọi người khác đào tạo - hiện đang cạnh tranh trực tiếp trong lớp mô hình với giấy phép dễ dàng và câu chuyện về hiệu quả. Nếu các tuyên bố về thông lượng tuân theo các tiêu chuẩn độc lập, thì nhóm mặc định dành cho các đại lý doanh nghiệp vào năm 2027 có thể cởi mở hơn đáng kể so với một năm trước.

---

Đi trước AI

Nhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.

Đọc thêm tin tức về AI →