การวัดประสิทธิภาพ AI จะตัดสินว่าโมเดลใดเป็นหัวข้อข่าว และบริษัทที่สร้างโมเดลเหล่านั้นได้เรียนรู้วิธีเอาชนะโมเดลเหล่านั้น สตาร์ทอัพชื่อ Vals ซึ่งก่อตั้งขึ้นในปี 2024 กำลังเดิมพันว่าอุตสาหกรรมต้องการผู้ตัดสินที่ไม่สามารถเล่นเกมทดสอบได้ และนักลงทุนเพิ่งสนับสนุนการเดิมพันครั้งใหญ่: Vals ระดมทุน Series A มูลค่า 40 ล้านดอลลาร์ นำโดย Andreessen Horowitz เมื่อเดือนที่แล้ว ตามมาด้วยรอบเมล็ดพันธุ์ที่นำโดย 8VC และ Bloomberg Beta

การเพิ่มขึ้นของบริษัทเกิดขึ้นท่ามกลางความกังวลที่เพิ่มขึ้นเกี่ยวกับวิธีการวัดความสามารถของ AI และจะเกิดอะไรขึ้นเมื่อมาตรฐานกลายเป็นเครื่องมือทางการตลาด หากต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับธุรกิจของ AI โปรดติดตาม ความครอบคลุมอุตสาหกรรม AI

เมื่อเกณฑ์มาตรฐานกลายเป็นการตลาด

การเปรียบเทียบได้กลายเป็นบรรทัดฐานของอุตสาหกรรมในการตรวจสอบความสามารถของโมเดล AI และเมื่อตัวเลขเปลี่ยนทิศทางของบริษัท ก็เพื่อความเหนือกว่าด้านโฆษณาเหนือคู่แข่ง มาตรฐานที่ดีหมายถึงการประชาสัมพันธ์ที่ดี

Rayan Krishnan ผู้ร่วมก่อตั้งและซีอีโอของ Vals กล่าวว่าปัญหาก็คือว่าเกณฑ์มาตรฐานจำนวนมากถูกสร้างขึ้นสำหรับรุ่นก่อนหน้า และบริษัทต่างๆ ได้คิดหาวิธีเพิ่มประสิทธิภาพเทียบกับรุ่นเหล่านั้น เมื่อสื่อการทดสอบเปิดเผยต่อสาธารณะ แบบจำลองจะได้รับการฝึกอบรมอย่างมีประสิทธิภาพเพื่อให้ผ่านการสอบ ซึ่งเป็นแนวทางปฏิบัติที่อุตสาหกรรมอธิบายไว้หลากหลายว่าเป็นการปนเปื้อน ไม่เหมาะสม หรือการโกงทันที

"เราเห็นโมเดลใหม่ที่มีความสามารถจำนวนมากออกสู่ตลาดอย่างรวดเร็ว และมาตรฐานทางวิชาการ [ไม่] ตามทันความก้าวหน้าชายแดนนั้น" Krishnan กล่าวในการให้สัมภาษณ์กับ TechCrunch

การทดสอบส่วนตัว งานในโลกแห่งความเป็นจริง

วาลส์ใช้แนวทางที่แตกต่างในสองแนวหน้า ประการแรก จะไม่เปิดเผยเอกสารการทดสอบเฉพาะของตนต่อสาธารณะ ซึ่งทำให้บริษัทฝึกแบบจำลองของตนกับการสอบได้ยากขึ้นมาก ประการที่สอง แทนที่จะวัดความรู้เชิงนามธรรม ว่าแบบจำลองสามารถตอบคำถามแบบข้อสอบบาร์ได้หรือไม่ Vals จะประเมินว่าแบบจำลองดำเนินงานที่ซับซ้อนในอุตสาหกรรมเฉพาะ เช่น กฎหมาย การเงิน และการเขียนโค้ดได้อย่างไร

“สิ่งที่เรากำลังทำอยู่คือการดูว่าอะไรคือผลกระทบที่แท้จริงของแบบจำลอง” กฤษนันกล่าว "พวกเขาสามารถทำงานที่ผลิตผลิตภัณฑ์คุณภาพเดียวกันกับมนุษย์ในทุกขอบเขตได้หรือไม่"

บริษัทยังวัดรูปแบบความล้มเหลว ไม่ใช่แค่ความสำเร็จ Krishnan กล่าวว่า Vals มีเป้าหมายที่จะวิเคราะห์ "หากโมเดลเหล่านี้แพร่หลายไปในโลกนี้ ผลเสียจะเป็นอย่างไร" ซึ่งเป็นปรัชญาการประเมินที่ถือว่าความเสี่ยงด้านลบเป็นผลลัพธ์ที่วัดผลได้ มากกว่าที่จะคิดในภายหลัง

จากกฎหมายและการเงินไปจนถึงอนุสัญญาเจนีวาและการพัฒนาตนเองแบบเรียกซ้ำ

ขอบเขตการประเมินของ Vals ขยายออกไปอย่างต่อเนื่องนอกเหนือจากรากฐานของการบริการระดับมืออาชีพ นอกเหนือจากมาตรฐานด้านกฎหมาย การเงิน และการเข้ารหัสแล้ว Krishnan กล่าวว่าขณะนี้บริษัทดำเนินการทดสอบด้านสุขภาพจิต ความปลอดภัยทางไซเบอร์ และความปลอดภัยทางชีวภาพ และแม้แต่เกณฑ์มาตรฐานเกี่ยวกับการพัฒนาตนเองแบบเรียกซ้ำ ซึ่งเป็นหัวข้อที่พูดคุยกันทั่วไปในแวดวงความปลอดภัยของ AI มากกว่าในชุดการประเมินเชิงพาณิชย์

บางทีสิ่งที่โดดเด่นที่สุดคืองานด้านกฎหมายว่าด้วยการขัดกันด้วยอาวุธ โดยที่ Vals กำลังทดสอบว่าแบบจำลองต่างๆ เข้าใจและประยุกต์ใช้อนุสัญญาเจนีวาอย่างไร ความกว้างส่งสัญญาณที่ความต้องการมาจาก: ไม่ใช่แค่ห้องแล็บที่แข่งกันขึ้นสู่ลีดเดอร์บอร์ดชั้นนำ แต่องค์กรและสถาบันต่างๆ ที่ต้องการหลักฐานว่าโมเดลมีพฤติกรรมอย่างไรในโดเมนที่มีความเสี่ยงสูงก่อนที่จะนำไปใช้งาน

โมเดลธุรกิจ: จ่ายเงินเพื่อทำแบบทดสอบ

บริษัทต่างๆ จ่ายเงินให้ Vals เพื่อประเมินโมเดลของตน ซึ่งเป็นข้อตกลงที่อาจดูเหมือนขัดกับสัญชาตญาณ เหตุใดบริษัทจึงต้องจ่ายเงินเพื่อผลลัพธ์ที่อาจทำให้อับอาย? Krishnan เปรียบเทียบแบบจำลองนี้กับนักเรียนที่จ่ายเงินให้คณะกรรมการวิทยาลัยเพื่อสอบ SAT: การวัดผลที่เป็นอิสระ แม้จะเป็นเพียงการวัดที่ไม่สวยงามนัก ก็ช่วยให้บริษัทแก้ไขปัญหาและปรับปรุงได้ตลอดเวลา

ดูเหมือนว่าตลาดจะมีการตอบสนอง Vals กล่าวว่ารายได้ของบริษัทในปัจจุบันอยู่ที่ 8 เท่าของปีที่แล้ว และทีมงานของบริษัทก็เพิ่มขึ้นสามเท่านับตั้งแต่ต้นปี โดยเพิ่มขึ้นจาก 8 คนเป็น 25 คน บริษัทดำเนินงานจากสำนักงาน 2 ชั้นบนถนน Folsom Street ในซานฟรานซิสโก ซึ่งเคยเป็นอาคารโรงเบียร์ซึ่งปัจจุบันเป็นที่ตั้งของบริษัทสตาร์ทอัพหลายแห่ง

การประเมินยังกลายเป็นปัจจัยในการตัดสินใจสำหรับองค์กรที่ซื้อโมเดล AI ตามที่บริษัทระบุ ทำให้การวัดประสิทธิภาพมีบทบาทใกล้กับความรอบคอบมากกว่าการตลาด

ผู้ก่อตั้งวัย 25 ปีที่มีที่นั่งแถวหน้า

Krishnan วัย 25 ปี เคยฝึกงานที่ Palantir และในระดับปริญญาตรีที่ Stanford เขาทำงานให้กับ Microsoft และห้องปฏิบัติการปัญญาประดิษฐ์ที่มีชื่อเสียงของมหาวิทยาลัย เขากล่าวว่า Vals เกิดจากการเฝ้าดูการประเมินผลที่ตามหลังอุตสาหกรรมที่ควรวัด — ช่องว่างที่กว้างขึ้นก็ต่อเมื่อแบบจำลองใหม่มาถึงเร็วกว่าเกณฑ์มาตรฐานทางวิชาการเท่านั้นที่สามารถออกแบบ ตรวจสอบ และเผยแพร่ได้

ขณะนี้สตาร์ทอัพได้เข้าร่วมกลุ่มบริษัทเล็กๆ แต่กำลังเติบโต ซึ่งพยายามจัดระบบการประเมิน AI ซึ่งเป็นพื้นที่ที่รวมถึงความพยายามทางวิชาการ โครงการกระดานผู้นำแบบโอเพ่นซอร์ส และสถาบันด้านความปลอดภัย สิ่งที่ทำให้ Vals แตกต่างก็คือโมเดลการทดสอบส่วนตัวและมุ่งเน้นไปที่การประเมินเฉพาะอุตสาหกรรมแบบเสียค่าใช้จ่ายมากกว่าการจัดอันดับสาธารณะ

ทำไมมันถึงสำคัญ

ปัญหาความน่าเชื่อถือของอุตสาหกรรม AI ด้วยเกณฑ์มาตรฐานได้รับการบันทึกไว้อย่างดี เช่น ชุดการทดสอบที่รั่วไหล การกระโดดลีดเดอร์บอร์ดที่น่าสงสัย และการกล่าวอ้างทางการตลาดที่เหนือกว่าประสิทธิภาพในโลกแห่งความเป็นจริง หากผู้ซื้อ โดยเฉพาะองค์กรและภาครัฐ เริ่มพึ่งพาการประเมินแบบส่วนตัวตามงาน เช่น Vals' สิ่งจูงใจสำหรับนักพัฒนาแบบจำลองสามารถเปลี่ยนจากการสอนเป็นการทดสอบไปสู่ความสามารถที่แท้จริง

นั่นเป็นทางยาวจากการตัดสิน เกณฑ์มาตรฐานส่วนตัวยังคงขอให้ผู้ซื้อเชื่อถือผู้ตัดสิน และลูกค้าของ Vals เป็นบริษัทเดียวกันกับที่ได้รับการจัดอันดับ แต่ด้วยรายได้ Series A มูลค่า 40 ล้านดอลลาร์ การเติบโตของรายได้แปดเท่าและความต้องการตั้งแต่การเงินไปจนถึงความปลอดภัยทางชีวภาพ เดิมพันก็คือการประเมินความรู้สึกอิสระกำลังกลายเป็นโครงสร้างพื้นฐาน ซึ่งเป็นบริการที่เศรษฐกิจ AI จะจ่ายให้ ไม่ว่าผลลัพธ์จะออกมาดีหรือไม่ก็ตาม

ก้าวนำหน้า AI

ใครเป็นคนวัดคนวัด? ติดตามธุรกิจการประเมิน AI และสตาร์ทอัพที่กำลังปรับเปลี่ยนรูปแบบใหม่ได้ที่ AI Buzz Wire แหล่งที่มาของ ข่าวด่วน AI

อ่านข่าว AI ล่าสุด →