Điểm chuẩn AI quyết định mô hình nào gây chú ý — và các công ty xây dựng những mô hình đó đã học được cách đánh bại chúng. Một công ty khởi nghiệp có tên Vals, được thành lập vào năm 2024, đang đặt cược rằng ngành này cần một trọng tài mà các bài kiểm tra của họ không thể bị đánh cược và các nhà đầu tư chỉ ủng hộ vụ đặt cược đó một cách rầm rộ: Vals đã huy động được Series A trị giá 40 triệu đô la do Andreessen Horowitz dẫn đầu vào tháng trước, sau vòng hạt giống do 8VC và Bloomberg Beta dẫn đầu.

Sự trỗi dậy của công ty diễn ra trong bối cảnh ngày càng có nhiều lo ngại về cách đo lường khả năng của AI và điều gì sẽ xảy ra khi thước đo trở thành công cụ tiếp thị. Để biết thêm về hoạt động kinh doanh của AI, hãy theo dõi tin tức về ngành AI.

Khi điểm chuẩn trở thành hoạt động tiếp thị

Đo điểm chuẩn đã trở thành tiêu chuẩn của ngành để xác thực khả năng của các mô hình AI — và khi các con số thay đổi theo hướng của một công ty, để quảng cáo tính ưu việt so với đối thủ. Điểm chuẩn tốt có nghĩa là quan hệ công chúng tốt.

Vấn đề, theo Rayan Krishnan, người đồng sáng lập và Giám đốc điều hành của Vals, là nhiều tiêu chuẩn kế thừa đã được xây dựng cho thế hệ mô hình trước đó và các công ty đã tìm ra cách tối ưu hóa để chống lại chúng. Khi tài liệu thử nghiệm được công khai, người mẫu có thể được đào tạo một cách hiệu quả để vượt qua kỳ thi — một hành vi mà ngành này đã mô tả khác nhau là ô nhiễm, trang bị quá mức hoặc gian lận trắng trợn.

Krishnan cho biết trong một cuộc phỏng vấn với TechCrunch: “Chúng tôi đã chứng kiến ​​​​một loạt các mẫu máy mới, có khả năng hoạt động cao nhanh chóng được tung ra thị trường và các tiêu chuẩn học thuật [không] theo kịp mức tiến bộ vượt trội đó”.

Bài kiểm tra riêng tư, Nhiệm vụ trong thế giới thực

Vals có cách tiếp cận khác trên hai mặt trận. Đầu tiên, nó không tiết lộ công khai các tài liệu kiểm tra cụ thể của mình, điều này khiến công ty gặp khó khăn hơn nhiều trong việc đào tạo các mô hình của mình để vượt qua kỳ thi. Thứ hai, thay vì đo lường kiến ​​thức trừu tượng – liệu một mô hình có thể trả lời các câu hỏi kiểu kiểm tra thanh hay không – Vals đánh giá cách các mô hình thực hiện các nhiệm vụ phức tạp trong các ngành cụ thể như luật, tài chính và mã hóa.

Krishnan nói: “Những gì chúng tôi đang làm thực sự là xem xét tác động thực sự của các mô hình là gì”. "Liệu họ có thể làm công việc tạo ra sản phẩm có chất lượng ngang bằng với con người trong mọi lĩnh vực không?"

Công ty cũng đo lường các dạng thất bại chứ không chỉ đo lường thành công. Krishnan cho biết Vals nhằm mục đích phân tích “nếu những mô hình này hoạt động rầm rộ trên thế giới thì những tác động tiêu cực sẽ là gì” - một triết lý đánh giá coi rủi ro giảm giá là kết quả đầu ra có thể đo lường được thay vì suy nghĩ lại.

Từ Luật và Tài chính đến Công ước Geneva và Quá trình tự hoàn thiện đệ quy

Phạm vi đánh giá của Vals không ngừng mở rộng ra ngoài nguồn gốc dịch vụ chuyên nghiệp. Bên cạnh các tiêu chuẩn về luật, tài chính và mã hóa, Krishnan cho biết công ty hiện đang tiến hành các thử nghiệm về sức khỏe tâm thần, an ninh mạng và an toàn sinh học, thậm chí là tiêu chuẩn về khả năng tự cải thiện đệ quy – một chủ đề thường được thảo luận trong giới an toàn AI hơn là trong các bộ đánh giá thương mại.

Có lẽ nổi bật nhất là nghiên cứu về luật xung đột vũ trang, trong đó Vals đang kiểm tra cách các mô hình hiểu và áp dụng Công ước Geneva. Các tín hiệu về bề rộng cho thấy nhu cầu đến từ: không chỉ các phòng thí nghiệm đua nhau giành vị trí dẫn đầu, mà cả các doanh nghiệp và tổ chức cần bằng chứng về cách các mô hình hoạt động trong các lĩnh vực có mức độ đặt cược cao trước khi triển khai chúng.

Mô hình kinh doanh: Trả tiền để làm bài kiểm tra

Các công ty trả tiền cho Vals để đánh giá mô hình của họ - một sự sắp xếp có vẻ phản trực giác. Tại sao một công ty lại trả tiền cho những kết quả có thể khiến nó xấu hổ? Krishnan so sánh mô hình này với việc một sinh viên trả tiền cho College Board để thi SAT: một phép đo độc lập, thậm chí là một phép đo không mấy tích cực, sẽ giúp công ty khắc phục sự cố và cải thiện theo thời gian.

Thị trường dường như đang phản ứng. Vals cho biết doanh thu của họ hiện gấp 8 lần so với năm ngoái và đội ngũ của họ đã tăng gấp ba kể từ đầu năm, tăng từ 8 người lên 25 người. Công ty hoạt động từ một văn phòng hai tầng trên Phố Folsom của San Francisco - một tòa nhà sản xuất bia trước đây hiện là trụ sở của nhiều công ty khởi nghiệp.

Theo công ty, các đánh giá cũng đang trở thành yếu tố ra quyết định đối với các doanh nghiệp mua sắm mô hình AI, khiến điểm chuẩn đóng vai trò gần với thẩm định hơn là tiếp thị.

Nhà sáng lập 25 tuổi ngồi hàng ghế đầu

Krishnan, 25 tuổi, thực tập tại Palantir và khi còn là sinh viên tại Stanford, anh đã làm việc cho Microsoft và phòng thí nghiệm trí tuệ nhân tạo nổi tiếng của trường đại học. Ông nói rằng Vals được sinh ra từ việc chứng kiến ​​việc đánh giá tụt hậu so với ngành mà nó đáng lẽ phải đo lường - một khoảng cách chỉ ngày càng mở rộng khi các mô hình mới xuất hiện nhanh hơn các tiêu chuẩn học thuật có thể được thiết kế, xác nhận và công bố.

Công ty khởi nghiệp này hiện tham gia vào một nhóm nhỏ nhưng đang phát triển gồm các công ty đang cố gắng thể chế hóa việc đánh giá AI, một không gian bao gồm các nỗ lực học thuật, các dự án bảng xếp hạng nguồn mở và các viện an toàn. Điều làm nên sự khác biệt của Vals là mô hình thử nghiệm riêng tư và tập trung vào các đánh giá trả phí, theo ngành cụ thể hơn là xếp hạng công khai.

Tại sao nó lại quan trọng

Vấn đề về độ tin cậy của ngành AI với các điểm chuẩn đã được ghi chép đầy đủ: các bộ thử nghiệm bị rò rỉ, các bước nhảy vọt đáng ngờ trên bảng xếp hạng và các tuyên bố tiếp thị vượt xa hiệu suất trong thế giới thực. Nếu người mua - đặc biệt là các doanh nghiệp và chính phủ - bắt đầu dựa vào các đánh giá riêng tư, dựa trên nhiệm vụ như của Vals, thì động cơ khuyến khích các nhà phát triển mô hình có thể chuyển từ giảng dạy sang kiểm tra sang năng lực thực sự.

Đó là một chặng đường dài từ giải quyết. Một điểm chuẩn riêng vẫn yêu cầu người mua tin tưởng vào trọng tài và khách hàng của Vals cũng chính là những công ty đang được xếp hạng. Nhưng với Series A trị giá 40 triệu USD, tăng trưởng doanh thu gấp 8 lần và nhu cầu từ tài chính đến an toàn sinh học, điều đáng tin cậy là việc đánh giá cảm giác độc lập đang trở thành cơ sở hạ tầng - một dịch vụ mà nền kinh tế AI sẽ trả tiền cho dù kết quả có tốt hơn hay không.

Đi trước AI

Ai đo thước đo? Theo dõi hoạt động đánh giá AI và các công ty khởi nghiệp đang định hình lại nó tại AI Buzz Wire, nguồn tin tức nóng hổi về AI.

Đọc tin tức mới nhất về AI →