บอร์ดผู้นำ AI บอกเล่าเรื่องราวที่มีรายละเอียดน่าทึ่งว่าโมเดลเขียนโค้ด แก้ปัญหาคณิตศาสตร์ และตอบข้อสอบระดับบัณฑิตศึกษาได้ดีเพียงใด สิ่งที่พวกเขาแทบไม่เคยบอกคุณเลยก็คือนางแบบทำงานได้ดีเพียงใดที่ชาวอเมริกันส่วนใหญ่ได้รับค่าจ้างให้ทำจริงๆ

โครงการวิจัยใหม่จากตลาดผู้มีความสามารถด้าน AI Mercor ได้วางตัวเลขลงบนช่องว่างนั้น ตามแผนที่เกณฑ์มาตรฐานของบริษัท ซึ่งเผยแพร่ในสัปดาห์นี้ ประมาณ 90% ของชั่วโมงทำงานของชาวอเมริกันใช้เวลาไปกับงานที่มีความครอบคลุมเพียงเล็กน้อยหรือไม่มีเลยจากเกณฑ์มาตรฐาน AI ที่มีอยู่ For more context on this story, see our ongoing AI trends.

“สิ่งนี้ทำให้เป็นเรื่องยากมากที่จะรู้ว่าโมเดล AI ทำงานได้ดีเพียงใดในงานที่คนอเมริกันทำจริงๆ” บริษัท เขียนไว้ในผลการวิจัย

การนับสิ่งที่เกณฑ์มาตรฐานพลาด

ในการสร้างแผนที่ Mercor ได้รวบรวมดัชนีของเกณฑ์มาตรฐาน 29 รายการที่เลือกในด้านคุณภาพและความเกี่ยวข้องทางเศรษฐกิจ จากนั้นจึงแมปคำแนะนำกับฐานข้อมูล O*NET ของรัฐบาลสหรัฐฯ ซึ่งเป็นอนุกรมวิธานมาตรฐานของ 923 อาชีพและงานที่แตกต่างกัน 18,797 งานซึ่งประกอบเป็นกำลังแรงงานอเมริกัน

ตัวเลขความคุ้มครองนั้นสิ้นเชิง อาชีพ O*NET เพียง 208 จาก 923 รายการเท่านั้นที่มีการครอบคลุมเกณฑ์มาตรฐานใดๆ เลย และมีเพียง 924 งานจาก 18,797 งานในดัชนีทั้งหมด

วิธีการซึ่งบันทึกไว้บนเว็บไซต์ของโปรเจ็กต์นั้นอาศัย AI เอง หลังจากการวิจัยเมื่อเร็วๆ นี้ ผู้ตัดสิน LLM จะแท็กพรอมต์การวัดประสิทธิภาพแต่ละรายการด้วยงาน ONET ที่สอดคล้อง โดยการตรวจสอบการแท็กกับป้ายกำกับผู้เชี่ยวชาญที่เป็นมนุษย์ในชุดย่อยการวัดประสิทธิภาพ APEX ของ Mercor งานจะนับว่าครอบคลุมก็ต่อเมื่อผู้ตัดสินจับคู่กับคำแนะนำอย่างน้อยห้ารายการจากดัชนีมาตรฐาน 29 รายการ เพื่อแปลงความครอบคลุมเป็นเงื่อนไขทางเศรษฐกิจ Mercor ได้รวมการประมาณการเข้ากับการประมาณการที่ได้รับจาก LLM ของส่วนแบ่งเวลาทำงานของแต่ละงาน ONET

ความคุ้มครองติดตามเงิน

ช่องว่างจะไม่กระจายแบบสุ่ม การวิเคราะห์ของ Mercor ชี้ให้เห็นว่าชุมชน AI ได้เปรียบเทียบตลาดแรงงานที่ใหญ่ที่สุดก่อน ซึ่งเป็นอาชีพที่เรียกเก็บเงินค่าจ้างรวมมากที่สุด ซึ่งคำนวณจากค่าจ้างของสำนักงานสถิติแรงงานและประมาณการการจ้างงาน

การแบ่งกลุ่มงานและครอบครัวแสดงให้เห็นว่าความสนใจไม่เท่าเทียมกัน อาชีพคอมพิวเตอร์และคณิตศาสตร์ซึ่งเป็นรากฐานของการสร้างเกณฑ์มาตรฐาน ได้รับการครอบคลุมมากที่สุดใน 29 อาชีพจาก 36 อาชีพ การดำเนินธุรกิจและการเงินตามมาด้วยอันดับที่ 33 จาก 48 ตำแหน่ง แต่การสนับสนุนด้านสำนักงานและการบริหาร ซึ่งเป็นครอบครัวที่มีพนักงานหลายล้านคน มีเพียง 21 ตำแหน่งจาก 51 อาชีพเท่านั้น และมีบทบาทด้านการจัดการอันดับที่ 21 จาก 56 ตำแหน่ง

แม้แต่ในอาชีพที่ครอบคลุมดีที่สุด ความลึกซึ้งก็ยังน้อย เมื่อ Mercor พยายามให้คะแนนแบบถ่วงน้ำหนักด้วย ONET สำหรับอาชีพที่ใช้เกณฑ์มาตรฐานหนักสี่อาชีพ ได้แก่ วาณิชธนกิจ กฎหมาย การบัญชี และวิศวกรรมซอฟต์แวร์ พบว่าน้อยกว่าหนึ่งในสามของงาน ONET ที่เกี่ยวข้องกับงานเหล่านั้นมีความครอบคลุมเกณฑ์มาตรฐานเพียงพอที่จะรวมไว้ในคะแนนแบบถ่วงน้ำหนัก

ทำไมจุดบอดจึงมีความสำคัญ

การค้นพบนี้เกิดขึ้นในช่วงเวลาที่คะแนนมาตรฐานทำให้เกิดการตัดสินใจอย่างแท้จริง องค์กรต่างๆ เลือกระดับโมเดลตามการประเมิน บอร์ดได้ยินเกี่ยวกับความก้าวหน้าของโมเดลชายแดนในแง่ของการก้าวกระโดดของเกณฑ์มาตรฐาน ผู้กำหนดนโยบายอ้างอิงถึงวิถีความสามารถเมื่อชั่งน้ำหนักกฎระเบียบ หาก 90% ของชั่วโมงทำงานอยู่นอกเหนือเกณฑ์มาตรฐาน การตัดสินใจทั้งหมดจะขึ้นอยู่กับกลุ่มตัวอย่างที่เบี่ยงเบนไปจากการทำงานในออฟฟิศ ด้านเทคนิค และนักวิชาการ

มีเหตุผลเชิงโครงสร้างในคลัสเตอร์การวัดประสิทธิภาพที่พวกเขาทำ งานวิศวกรรมซอฟต์แวร์มีราคาถูกในการระบุ ราคาถูกในการให้คะแนนโดยอัตโนมัติ และง่ายสำหรับผู้เขียนเกณฑ์มาตรฐาน ซึ่งส่วนใหญ่เป็นผู้เขียนซอฟต์แวร์ ในการออกแบบ การประเมินลักษณะการอยู่ข้างเตียงของผู้ช่วยทางการแพทย์ การตัดสินใจของผู้ประสานงานด้านโลจิสติกส์ภายใต้ข้อจำกัดในการเปลี่ยนเกียร์ หรือกระบวนการวินิจฉัยของช่างไฟฟ้านั้นยากต่อการสร้างมาตรฐาน การตรวจสอบจากระยะไกลทำได้ยาก และในหลายกรณี เป็นไปไม่ได้ที่จะทดสอบโดยไม่มีการปรากฏตัวทางกายภาพ

Mercor ซึ่งมีธุรกิจหลักที่จับคู่ผู้เชี่ยวชาญในโดเมนกับห้องปฏิบัติการ AI สำหรับการฝึกอบรมและงานประเมินผล มีความสนใจเชิงพาณิชย์อย่างเห็นได้ชัดโดยชี้ให้เห็นว่าความครอบคลุมของการประเมินมีน้อย — บริษัทขายสิทธิ์เข้าถึงผู้เชี่ยวชาญที่สามารถปิดช่องว่างนั้นได้ แต่ปัญหาการวัดผลที่เกิดขึ้นนั้นเป็นเรื่องจริงและได้รับการยอมรับมากขึ้นทั่วทั้งวงการ และบริษัทได้เผยแพร่วิธีการและรายการเกณฑ์มาตรฐานฉบับเต็มสำหรับการตรวจสอบอย่างละเอียด

บริษัทกล่าวว่าแผนที่เปรียบเทียบเป็นก้าวแรกสู่ทรัพยากรที่ได้รับการอัปเดตอย่างต่อเนื่องเพื่อทำความเข้าใจความสามารถของ AI ทั่วทั้งระบบเศรษฐกิจ และกำลังดำเนินการเพื่อให้ได้คะแนนโมเดล O*NET ที่ถ่วงน้ำหนัก ซึ่งให้น้ำหนักงานด้านอาชีพแต่ละงานเท่าๆ กัน แทนที่จะปล่อยให้งานที่มีการวัดประสิทธิภาพบ่อยๆ ครอบงำค่าเฉลี่ย

ทศวรรษแห่งการวัดผล

จะเกิดอะไรขึ้นต่อไปขึ้นอยู่กับว่าผู้สร้างเกณฑ์มาตรฐานปฏิบัติตามแผนที่เศรษฐกิจหรือไม่ ข้อมูล Mercor ชี้ไปที่ส่วนที่ความครอบคลุมขาดหายไป และโดยปริยาย เกณฑ์มาตรฐานใหม่จะมีคุณค่าของข้อมูลมากที่สุด อาชีพที่มีการจ้างงานจำนวนมาก ค่าจ้างที่สูง และความคุ้มครองมาตรฐานที่เป็นศูนย์ ถือเป็นขอบเขตการประเมินผลแบบเปิด

ในตอนนี้ สิ่งที่เป็นประโยชน์สำหรับทุกคนที่บริโภคข่าวกระดานผู้นำ AI ถือเป็นข้อแม้: โปรไฟล์เกณฑ์มาตรฐานของโมเดลอธิบายถึงจุดแข็งในส่วนของเศรษฐกิจที่เกณฑ์มาตรฐานครอบคลุม อีก 90% ของชั่วโมงทำงาน — งานผู้ดูแลระบบ การดูแล การบริการภาคสนาม การบริหารพื้นที่ — ส่วนใหญ่ยังไม่มีการวัดผล และการกล่าวอ้างเกี่ยวกับ AI ที่เปลี่ยนแปลงปัจจุบันนั้นขึ้นอยู่กับเกร็ดเล็กเกร็ดน้อยมากกว่าหลักฐาน

ตามกรอบของบริษัทเอง เกณฑ์มาตรฐานได้ทวีคูณในช่วงไม่กี่ปีที่ผ่านมา แต่ความครอบคลุมของงานที่มีคุณค่าทางเศรษฐกิจยังคงมีจำกัด แผนที่ทำให้มองเห็นข้อจำกัดดังกล่าว เรียงต่อกัน อาชีพต่ออาชีพ

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →