Bảng xếp hạng AI kể một câu chuyện cực kỳ chi tiết về mức độ hiệu quả của các mô hình viết mã, giải các bài toán và trả lời các bài kiểm tra cấp độ sau đại học. Điều họ gần như không bao giờ nói với bạn là người mẫu thực hiện tốt công việc mà hầu hết người Mỹ thực sự được trả tiền để làm.

Một dự án nghiên cứu mới từ thị trường tài năng AI Mercor đã đưa ra con số về khoảng trống đó. Theo Bản đồ điểm chuẩn của công ty, được công bố trong tuần này, khoảng 90% thời gian làm việc của người Mỹ được dành cho các nhiệm vụ có rất ít hoặc không có sự bao phủ từ các điểm chuẩn AI hiện có. For more context on this story, see our ongoing breaking AI news.

Công ty viết trong phát hiện của mình: “Điều này khiến rất khó để biết các mô hình AI tốt như thế nào trong công việc mà người Mỹ thực sự làm”.

Đếm những điểm chuẩn bị bỏ lỡ

Để xây dựng bản đồ, Mercor đã biên soạn một chỉ mục gồm 29 điểm chuẩn được chọn lọc về chất lượng và mức độ phù hợp về mặt kinh tế, sau đó ánh xạ các lời nhắc của chúng dựa trên cơ sở dữ liệu nghề nghiệp O*NET của chính phủ Hoa Kỳ — phân loại tiêu chuẩn của 923 ngành nghề và 18.797 nhiệm vụ riêng biệt tạo nên lực lượng lao động Hoa Kỳ.

Các con số bảo hiểm rất rõ ràng. Chỉ có 208 trong số 923 nghề nghiệp O*NET có bất kỳ phạm vi điểm chuẩn nào và chỉ 924 trong số 18.797 nhiệm vụ nghề nghiệp được thể hiện trên toàn bộ chỉ mục.

Phương pháp này, được ghi lại trên trang web của dự án, dựa vào chính AI: sau nghiên cứu gần đây, đánh giá LLM gắn thẻ cho mỗi lời nhắc điểm chuẩn với các tác vụ ONET tương ứng, với việc gắn thẻ được xác thực dựa trên nhãn chuyên gia về con người trên tập hợp con điểm chuẩn APEX của chính Mercor. Một nhiệm vụ chỉ được tính là hoàn thành nếu trọng tài ánh xạ nó tới ít nhất năm lời nhắc từ chỉ số 29 điểm chuẩn. Để chuyển mức độ bao phủ sang các thuật ngữ kinh tế, Mercor đã kết hợp các ước tính của mình với các ước tính bắt nguồn từ LLM được công bố gần đây về tỷ lệ thời gian làm việc của từng nhiệm vụ ONET.

Bảo hiểm theo tiền

Các khoảng trống không được phân phối ngẫu nhiên. Phân tích của Mercor cho thấy cộng đồng AI trước tiên đã đánh giá các thị trường lao động lớn nhất - những ngành nghề có tổng hóa đơn tiền lương lớn nhất, được tính từ ước tính lương và việc làm của Cục Thống kê Lao động.

Sự phân chia công việc-gia đình cho thấy sự chú ý không đồng đều như thế nào. Các ngành nghề về máy tính và toán học, sân nhà của việc tạo điểm chuẩn, được bao phủ tốt nhất ở 29 trong số 36 ngành nghề. Hoạt động kinh doanh và tài chính xếp sau ở vị trí thứ 33 trên 48. Nhưng hỗ trợ văn phòng và hành chính - một gia đình có hàng triệu nhân viên - chỉ có 21 trong số 51 ngành nghề được đảm nhiệm và vai trò quản lý là 21 trên 56.

Ngay cả trong những ngành nghề được biết đến nhiều nhất, chiều sâu cũng rất mỏng. Khi Mercor cố gắng chấm điểm theo trọng số ONET cho bốn ngành nghề có nặng điểm chuẩn - ngân hàng đầu tư, luật, kế toán và kỹ thuật phần mềm - họ nhận thấy rằng chưa đến một phần ba nhiệm vụ ONET liên quan đến những công việc đó có đủ phạm vi điểm chuẩn để được đưa vào điểm có trọng số.

Tại sao điểm mù lại quan trọng

Phát hiện này đến vào thời điểm điểm chuẩn đưa ra các quyết định thực sự. Doanh nghiệp lựa chọn các bậc mô hình dựa trên đánh giá; các hội đồng nghe về tiến trình của mô hình biên giới xét về mức độ nhảy vọt của điểm chuẩn; các nhà hoạch định chính sách trích dẫn quỹ đạo năng lực khi cân nhắc các quy định. Nếu 90% số giờ làm việc nằm ngoài những gì tiêu chuẩn đo lường thì tất cả những quyết định đó đều dựa trên một mẫu nghiêng về giới hạn văn phòng, kỹ thuật và học thuật.

Có lý do cơ cấu điểm chuẩn cụm nơi họ làm. Các nhiệm vụ kỹ thuật phần mềm không tốn nhiều chi phí để chỉ định, chi phí tự động chấm điểm thấp và dễ dàng cho các tác giả tiêu chuẩn - những người chủ yếu viết phần mềm - thiết kế. Việc đánh giá cách thức bên giường bệnh của trợ lý y tế, phán đoán của điều phối viên hậu cần trong điều kiện thay đổi hạn chế hoặc quy trình chẩn đoán của thợ điện khó tiêu chuẩn hóa hơn, khó xác minh từ xa hơn và trong nhiều trường hợp không thể kiểm tra nếu không có sự hiện diện thực tế.

Mercor, công ty có hoạt động kinh doanh cốt lõi kết nối các chuyên gia trong lĩnh vực với các phòng thí nghiệm AI để đào tạo và đánh giá, có lợi ích thương mại rõ ràng khi chỉ ra rằng phạm vi đánh giá còn mỏng - công ty bán quyền truy cập cho chính xác các chuyên gia có thể thu hẹp khoảng cách đó. Nhưng vấn đề đo lường cơ bản là có thật và ngày càng được thừa nhận trên toàn lĩnh vực, đồng thời công ty đã công bố phương pháp luận và danh sách điểm chuẩn đầy đủ để xem xét kỹ lưỡng.

Công ty cho biết Bản đồ điểm chuẩn của họ là bước đầu tiên hướng tới một nguồn tài nguyên được cập nhật liên tục để hiểu rõ các khả năng của AI trên toàn nền kinh tế và họ đang nỗ lực hướng tới điểm số mô hình có trọng số O*NET để đánh giá mỗi nhiệm vụ nghề nghiệp như nhau thay vì để các nhiệm vụ được điểm chuẩn thường xuyên chiếm ưu thế ở mức trung bình.

Thập kỷ đo lường

Điều gì xảy ra tiếp theo phụ thuộc vào việc liệu những người xây dựng điểm chuẩn có tuân theo bản đồ kinh tế hay không. Dữ liệu của Mercor chỉ ra nơi thiếu phạm vi bảo hiểm - và ngầm định, nơi các điểm chuẩn mới sẽ mang nhiều giá trị thông tin nhất. Những nghề nghiệp có số lượng việc làm lớn, hóa đơn lương cao và phạm vi bảo hiểm không có điểm chuẩn trên thực tế là lãnh thổ đánh giá mở.

Hiện tại, bài học thực tế dành cho bất kỳ ai xem tin tức về bảng xếp hạng AI là một lời cảnh báo: hồ sơ điểm chuẩn của một mô hình mô tả điểm mạnh của nó trong phần nền kinh tế mà điểm chuẩn tình cờ bao trùm. 90% thời gian làm việc còn lại - công việc quản trị viên, chăm sóc, dịch vụ hiện trường, quản lý sàn - phần lớn vẫn chưa được đo lường và các tuyên bố về việc AI sẽ biến đổi nó hiện dựa nhiều vào giai thoại hơn là bằng chứng.

Như cách đặt ra của chính công ty, các điểm chuẩn đã tăng lên gấp bội trong những năm gần đây, nhưng mức độ bao phủ của các công việc có giá trị kinh tế vẫn còn hạn chế. Bản đồ làm cho giới hạn đó hiển thị rõ ràng, từng ô một, từng nghề nghiệp.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →