Perplexity đã xuất bản một bài viết chi tiết về Người quyết định v1.3, phiên bản mới nhất của dòng mô hình quyết định của nó, có tiêu đề "Người quyết định sự bối rối v1.3: Các trường hợp đào tạo, đánh giá và sử dụng". Bài đăng đã xuất hiện trên trang nhất của Hacker News vào thứ Sáu và thu hút hơn 140 điểm trong vòng vài giờ, trong đó các nhà phát triển trao đổi kết quả điểm chuẩn và tranh cãi xem những mô hình này thực sự phù hợp ở đâu. Để biết thêm thông tin về vấn đề này và tin tức AI mới nhất, chúng tôi theo dõi mọi bản phát hành mô hình khi nó ra mắt.

Sự chú ý ít hơn về một bản cập nhật mà tập trung nhiều hơn vào những gì chủ đề tiết lộ: chỉ trong chưa đầy một năm, các mô hình quyết định đã chuyển từ sự tò mò sang một danh mục đông đúc với các tiêu chuẩn riêng, logic định giá riêng và một lĩnh vực cạnh tranh hiện bao gồm Perplexity, TypeSafe, Microsoft, Google, Cloudflare và OpenAI.

Mô hình Quyết định thực sự có tác dụng gì

Định nghĩa rõ ràng nhất đến từ Phân tích nhân tạo, phòng thí nghiệm đánh giá độc lập có Chỉ số Quyết định v2.1 đã trở thành bảng xếp hạng tham chiếu cho danh mục này. Trong phần giải thích, mô hình quyết định sẽ đưa ra một câu hỏi với một tập hợp các tùy chọn cố định — ví dụ: một phiếu hỗ trợ hỏi xem có nên chuyển đến thanh toán hay kỹ thuật hay không, việc đó có khẩn cấp hay không và mức độ khó chịu của khách hàng — và trả về câu trả lời cho mọi tùy chọn kèm theo xác suất, tất cả chỉ trong một cuộc gọi.

Ngược lại, một mô hình ngôn ngữ có mục đích chung tạo ra một đầu ra có cấu trúc, sau đó phải được phân tích cú pháp và một mô hình lý luận sẽ dành thêm tư duy tính toán trước khi trả lời. Các mô hình quyết định bỏ qua điều đó. Họ được đào tạo để lựa chọn, không phải để giải thích, đó là điều khiến họ đủ nhanh và rẻ để chạy trên mọi tài liệu, mọi yêu cầu, với khối lượng lớn.

Cách đo lường danh mục

Chỉ số quyết định phân tích nhân tạo v2.1, được cập nhật với trang phương pháp công khai, kết hợp sáu đánh giá với trọng số được công bố: AA-Paperclip ở mức 30%, chạy 1.500 sơ yếu lý lịch, biên lai, hóa đơn và tài liệu nghiên cứu thông qua các quyết định và trích xuất dữ kiện; EvalSafe-ONET-AA ở mức 15 phần trăm, dựa trên điểm chuẩn đánh giá ONET của TypeSafe về tài liệu tại nơi làm việc; When2Call ở mức 10 phần trăm, đánh giá về khả năng gọi công cụ của NVIDIA; AA-Tomniscience-Quyết định v1.1 ở mức 15 phần trăm cho kiến ​​thức và ảo giác; HLE-MultiChoice v1.1 ở mức 15 phần trăm, các câu hỏi trắc nghiệm chỉ có văn bản từ Bài kiểm tra cuối cùng của Nhân loại với tùy chọn từ chối; và AA-Symmetry v1.1 ở mức 15 phần trăm, kiểm tra xem một quyết định có đúng khi các tùy chọn của nó được di chuyển, diễn đạt lại hoặc phủ định hay không.

Bài kiểm tra cuối cùng đó chính là câu trả lời. Một mô hình lật ngược câu trả lời của nó khi bạn đảo ngược thứ tự các tùy chọn không thực sự mang tính quyết định - đó là mô hình khớp mẫu. Hiệu chỉnh, bất biến và biết khi nào nên từ chối được coi là yêu cầu hạng nhất, không phải tiền thưởng.

Chủ đề Tin tức về Hacker bổ sung thêm những gì

Perplexity lần đầu tiên mở rộng một thành viên có tham số 27 tỷ trong gia đình, pplx-deider-v1-27b, trên Hugging Face vào đầu tháng 10, vì vậy cộng đồng đã sở hữu những mô hình này trong nhiều tuần. Phản ứng đối với v1.3 được kết hợp theo cách giống như một thị trường lành mạnh hơn là một chu kỳ cường điệu.

Một nhà phát triển đã báo cáo rằng Người quyết định v1.3 đã cho thấy những lợi ích so với cả v1.2 và Jev 1.14 của TypeSafe trong các đánh giá nội bộ của họ đối với tác vụ trích xuất và so khớp thực thể. Một người khác cho biết nó hoạt động tốt theo tiêu chuẩn địa phương của họ và có giá cạnh tranh, lưu ý rằng kiến ​​trúc chú ý hai chiều có thể phù hợp với công việc ra quyết định. Những người khác phản đối: một người bình luận nhận thấy v1.3 đã lùi một bước so với trường hợp sử dụng của họ và cho biết chỉ mục công khai đã đồng ý, còn một người khác đặt câu hỏi liệu các biến thể flash có làm loãng lời hứa cốt lõi của danh mục về các quyết định hàng loạt chính xác, rẻ tiền hay không.

Chủ đề này cũng làm nổi bật hệ sinh thái xung quanh — mô hình quyết định Clef của Cloudflare và mô hình trích xuất Clairic, API ScalDown, mô hình quyết định riêng của D1 và OpenAI của Liquid — với một số nhà phát triển lưu ý rằng chỉ số của Phân tích nhân tạo, bao gồm chi phí cho mỗi nhiệm vụ và hiệu chuẩn cùng với độ chính xác, là so sánh duy nhất giữa các nhà cung cấp mà họ tin tưởng.

Tại sao nó lại quan trọng

Chúng tôi đã đề cập đến từng bước phát triển của danh mục này: mô hình hệ thống một Jev của TypeSafe, Quyết định-1 của Microsoft được xây dựng trên Qwen và API Quyết định của Google với mô hình Quyết định-1 Gemini của nó. Perplexity Shipping v1.3 xác nhận mô hình - mọi nền tảng AI chính hiện nay đều muốn sở hữu lớp nơi thực hiện các lựa chọn có cấu trúc, bởi vì lớp đó nằm trước mọi thứ: hỗ trợ phân loại, xử lý tài liệu, gọi công cụ, kiểm duyệt, kiểm tra tuân thủ.

Kinh tế là vấn đề. Một mô hình lý luận có thể trả lời tốt hơn mô hình quyết định về độ chính xác, nhưng với khối lượng lớn, độ trễ và chi phí khiến nó trở thành công cụ sai lầm cho hàng triệu phân loại hàng ngày. Các mô hình quyết định đánh đổi thông tin tổng quát để lấy các câu trả lời được hiệu chỉnh, bất biến, chỉ trong một cuộc gọi và như cuộc tranh luận của Hacker News cho thấy, người mua hiện đang phân loại giao dịch đó bằng các tiêu chuẩn thực và khối lượng công việc thực.

Người quyết định v1.3 sẽ sống hay chết trên các phiếu ghi điểm đó. Nhưng bản thân danh mục này rõ ràng đã đến.

---

Đi trước AI

Nhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.

Đọc thêm tin tức về AI →