Block บริษัทการชำระเงินที่นำโดย Jack Dorsey ได้เข้าสู่การแข่งขัน AI ด้วยเสียงด้วยการอ้างสิทธิ์ที่ชัดเจนผิดปกติ เมื่อวันพฤหัสบดี ห้องปฏิบัติการวิจัยภายในของบริษัทได้เปิดตัว Dessa ซึ่งเป็นโมเดลการพูดเป็นคำพูดที่ Block กล่าวว่าได้รับการฝึกฝนตั้งแต่เริ่มต้นโดยไม่มีอะไรนอกจากการสนทนาของมนุษย์ ไม่มีข้อความ ไม่มีการถอดเสียง และไม่มีแบบจำลองพื้นฐานที่ได้รับการฝึกไว้ล่วงหน้าอยู่ข้างใต้

"เท่าที่เรารู้ Dessa เป็น AI ตัวแรกของโลกที่คุณสามารถสนทนาสดได้อย่างสมจริง ซึ่งฝึกฝนจากคำพูดของมนุษย์เท่านั้น" Block กล่าวในหน้าอย่างเป็นทางการของโมเดล ซึ่งอธิบายการเปิดตัวว่าเป็น "ตัวอย่างการวิจัยของโมเดลคำพูดแบบฟูลดูเพล็กซ์" บริษัทกำลังเผยแพร่บันทึกการสาธิตสด เปิดรายการรอสาธารณะ และให้สิทธิ์การเข้าถึงนักวิจัยด้านความปลอดภัย AI กลุ่มเล็กๆ ก่อนใคร For more context on this story, see our ongoing AI industry coverage.

จริงๆ แล้ว Dessa คืออะไร

Dessa คือสิ่งที่นักวิจัยเรียกว่าแบบจำลองคำพูดต่อคำพูดแบบฟูลดูเพล็กซ์: เสียงเข้า เสียงออก โดยไม่มีเลเยอร์ข้อความอยู่ระหว่างนั้น ส่วนสุดท้ายคือสิ่งที่สร้างความแตกต่าง ผู้ช่วยเสียงกระแสหลักแทบทุกตัว รวมถึงโหมดเสียงที่แนบมากับแชทบอทที่ใหญ่ที่สุด จะแปลงคำพูดของคุณเป็นข้อความ ให้เหตุผล และพูดตอบกลับ Block ให้เหตุผลว่าไปป์ไลน์ทิ้งสิ่งที่ทำให้การสนทนาของมนุษย์เป็นมนุษย์ส่วนใหญ่ไป

"การโต้ตอบกับเสียงในปัจจุบัน AI เป็นเพียงเรื่องไร้สาระ" ประกาศของบริษัทระบุ "มันเปลี่ยนเสียงของคุณให้เป็นข้อความและโยนข้อมูลจำนวนมหาศาลที่ข้อความเพียงอย่างเดียวไม่สามารถพกพาไปได้ AI ที่ทรงพลังที่สุดในโลกไม่ได้ยินว่าคุณรู้สึกอย่างไร เราคิดว่ามันไร้สาระ นำไปสู่ประสบการณ์ที่เลวร้ายกว่า และอาจเป็นอันตรายได้"

เนื่องจาก Dessa ไม่เคยผ่านข้อความ Block จึงกล่าวว่าโดยธรรมชาติแล้วจะดึงเอาอารมณ์ การเสียดสี เสียงหัวเราะ การถอนหายใจอย่างหงุดหงิด หรือเสียงที่แตกร้าวด้วยความโศกเศร้า ซึ่งเป็นสัญญาณที่เป็นภาษาคู่ขนานที่ส่งสัญญาณว่าระบบที่ใช้ข้อความมักจะละทิ้งไป

Full-Duplex หมายความว่ามันพูดได้เหมือนคน ไม่ใช่บอทแบบ Turn-Taking

ลักษณะที่กำหนดที่สองคือการดำเนินการฟูลดูเพล็กซ์ Dessa ฟังและพูดไปพร้อมๆ กันในแบบที่ผู้คนทำ แทนที่จะรอการสิ้นสุดคำพูดที่ตรวจพบก่อนจะตอบสนอง จากข้อมูลของ Block โมเดลดังกล่าวเรียนรู้จากการสนทนาจริงเมื่อใดควรตัดตอน เมื่อใดควรถอยกลับเพื่อแสดงว่ามันตามมา และเมื่อใดควรเงียบ

การสาธิตในหน้าของบริษัทแสดงให้เห็นถึงพฤติกรรมที่ไม่มีใครตั้งโปรแกรมไว้อย่างชัดเจน ในคลิปหนึ่ง Dessa หัวเราะกลางประโยคในช่วงเวลาที่มีบางสิ่งกลายเป็นเรื่องตลก — "วิธีที่ผู้คนทำ" บล็อกบันทึก ซึ่งตรงกันข้ามกับผู้ช่วยเสียงทั่วไปที่ "รอให้คุณทำเสร็จ แล้วหัวเราะตามคิว" ในอีกกรณีหนึ่ง ผู้ใช้ขอให้โมเดลพูดและเสียงดังขึ้น “ไม่มีใครสอนเรื่องนั้น” บริษัทกล่าว ในประการที่สาม บุคคลนั้นว่างชื่อภาพยนตร์และ Dessa ก็จบประโยคให้พวกเขา

นอกจากนี้ Block ยังระมัดระวังในการระบุที่มาของการสาธิตที่สะดุดตาเป็นพิเศษ โดยที่ Dessa สนทนาสดกับระบบ AI อื่น “ในการสาธิตนี้ Dessa กำลังพูดคุยกับ GPT-Live-1 ซึ่งเป็นโมเดล AI ของบุคคลที่สาม เสียงทั้งสองนั้นสร้างขึ้นโดย AI” เพจระบุ โดยสังเกตว่าผู้พัฒนาของ GPT-Live-1 ไม่มีส่วนเกี่ยวข้องกับ Block และยังไม่ได้ตรวจสอบหรือรับรอง Dessa

เหตุใดบล็อกจึงข้ามข้อความทั้งหมด

การฝึกโมเดลที่ไม่มีข้อความเลยถือเป็นการเดิมพันโดยเจตนา จุดยืนของ Block คือ คำพูดไม่ใช่สิ่งห่อหุ้มภาษาที่สูญเสียไป แต่เป็นสื่อหลัก และแบบจำลองที่เติบโตมาจากเสียงดิบอาจพัฒนาความสามารถและโหมดความล้มเหลวที่ระบบฝึกข้อความไม่มี

บริษัทตีกรอบข้อดีทางวิทยาศาสตร์ว่าเป็นคำถามเปิดมากกว่าผลลัพธ์ที่ตัดสิน: โมเดลเฉพาะคำพูดเรียนรู้ภาษาและข้อเท็จจริงได้อย่างมีประสิทธิภาพเพียงใดเมื่อเปรียบเทียบกับระบบที่ผ่านการฝึกอบรมด้วยข้อความ พวกเขาสามารถเรียนรู้ภาษาใหม่ได้อย่างมีประสิทธิภาพเพียงใด? การเรียนรู้ในบริบทประเภทใดที่สามารถทำได้ “Dessa พัฒนาขอบเขตของโมเดลการเรียนรู้เชิงลึกและสร้างหมวดหมู่ที่แตกต่างด้วยพฤติกรรมใหม่และน่าสนใจทั้งหมดเพื่อให้นักวิจัยได้ค้นพบ” ประกาศดังกล่าวอ่าน

นอกจากนี้ยังมีการกล่าวอ้างเชิงปฏิบัติฝังอยู่ในสนามด้วย Block กล่าวว่าการอนุมานของ Dessa ทำงานเร็วกว่าเรียลไทม์ ดังนั้นการตอบกลับจึงเกิดขึ้นโดยไม่มีการหยุดชั่วคราวอย่างเชื่องช้า ซึ่งรบกวนผู้ช่วยเสียงแบบผลัดตาเดิน และตามการรายงานของ Unite.AI ของการเปิดตัว โมเดลดังกล่าวทำงานบนฮาร์ดแวร์สำหรับผู้บริโภคในเครื่องที่มีความสามารถเท่ากับ MacBook Pro ที่มีชิป M4 Max หรือดีกว่า หากแม่นยำ โมเดลเสียงฟูลดูเพล็กซ์ที่ทำงานในพื้นที่จะมีความโดดเด่นในช่วงเวลาที่ AI เสียงที่มีการแข่งขันสูงส่วนใหญ่ยังคงผูกติดอยู่กับคลาวด์

A "ช่วงเวลา GPT-3 สำหรับการพูด"

Ragavan Thurairatnam หัวหน้าห้องปฏิบัติการวิจัย AI ของ Block อธิบายว่า Dessa เป็นโมเดล AI ตัวแรกที่สามารถจัดการการสนทนาที่สมจริงได้หลังจากฝึกฝนการพูดทั้งหมด และเรียกการเปิดตัวครั้งนี้ว่า "ช่วงเวลา GPT3 สำหรับการพูด" ตามรายงานของ Unite.AI เกี่ยวกับการประกาศ การเปรียบเทียบชี้ให้เห็น: การเปิดตัว GPT-3 ในปี 2020 ไม่ได้สร้างผลิตภัณฑ์ที่มีประโยชน์ในทันที แต่ได้กำหนดกรอบใหม่ของโมเดลภาษาที่สามารถทำได้ และเริ่มวงจรการลงทุนในปัจจุบัน

The Verge ซึ่งครอบคลุมการเปิดตัว อธิบายผลลัพธ์ว่าเป็นโมเดลที่ "พูดคุยกับคุณเหมือนเพื่อนใหม่ที่น่าอึดอัดใจ" - บทสรุปที่เร้าใจของคลิปสาธิตที่ Dessa อ้าปากค้าง "โอ้พระเจ้า" ด้วยความประหลาดใจ หรือตอบสนองต่อข่าวส่วนตัวด้วยเสียงที่ดูเหมือนความกตัญญูน้ำตา กิริยาท่าทางเหล่านั้นสะท้อนถึงความเข้าใจที่แท้จริงหรือการสร้างรูปแบบที่ซับซ้อนหรือไม่นั้น เป็นคำถามประเภทที่ Block กล่าวว่าต้องการให้ชุมชนการวิจัยสอบสวน

มุมความปลอดภัยต้องมาก่อน — สักครั้ง

โดยเฉพาะอย่างยิ่ง Block ไม่ได้จัดส่ง Dessa ไปยังผู้บริโภคโดยตรง การเปิดตัวนี้เป็นการแสดงตัวอย่างการวิจัย: การบันทึกเป็นแบบสาธารณะ รายการรอเปิดอยู่ แต่การเข้าถึงล่วงหน้าแบบลงมือปฏิบัติจริงนั้นจำกัดอยู่เพียงนักวิจัยด้านความปลอดภัย AI กลุ่มเล็กๆ เท่านั้น เมื่อพิจารณาถึงความกังวลอย่างต่อเนื่องเกี่ยวกับการหลอกลวงด้วยเสียงและสหาย AI ที่มีการบงการทางอารมณ์ โมเดลคำพูดที่สามารถแสดงออกและน่าจะล้วงเอาอารมณ์ออกมา จึงเป็นประเภทที่ทีมความปลอดภัยของระบบต้องการประเมินก่อนการใช้งานจำนวนมาก

Block กล่าวว่าจะมีการแชร์การบันทึกเพิ่มเติมบน X ในอีกไม่กี่วันข้างหน้า บริษัทยังไม่ได้ประกาศราคา การเข้าถึง API หรือแผนการบูรณาการสำหรับผลิตภัณฑ์ Square, Cash App หรือ Bitkey

คำถามเปิด

ส่วนการปล่อยของเดสซาลงจอดในสนามที่มีผู้คนหนาแน่น ขณะนี้ห้องปฏิบัติการ AI รายใหญ่ทุกแห่งมีโหมดเสียง และบริษัทสตาร์ทอัพได้ผลักดันโมเดลคำพูดแบบเรียลไทม์มาเป็นเวลาสองปีแล้ว สิ่งที่ทำให้ Dessa แตกต่างคือสูตรการฝึก - คำพูดล้วนๆ ไม่มีข้อความ - และการอ้างว่าพฤติกรรมการสนทนาที่เกิดขึ้น เช่น การหัวเราะในประโยคกลางเกิดขึ้นโดยไม่มีคำแนะนำที่ชัดเจน

ผู้คลางแคลงจะต้องการการประเมินที่เป็นอิสระ โมเดลที่ไม่มีข้อความสามารถเรียนรู้ข้อเท็จจริงได้อย่างน่าเชื่อถือจริง ๆ หรือมันทำให้เกิดภาพหลอนได้อย่างอิสระมากขึ้นโดยไม่ต้องใช้ภาษาเขียน? สามารถปรับขนาดเป็นภาษาใหม่โดยไม่ต้องถอดเสียงได้หรือไม่ เพจของ Block เองเชิญชวนให้ถามคำถามเหล่านี้ ไม่ว่าจะเป็นความมั่นใจหรือการรับทราบอย่างตรงไปตรงมาว่ายังไม่มีใคร รวมทั้ง Block ด้วย ที่รู้คำตอบ

สำหรับตอนนี้ Dessa เป็นสิ่งประดิษฐ์การวิจัยที่มีรายชื่อรออยู่ แต่หากการฝึกอบรมเฉพาะคำพูดพิสูจน์ให้เห็นว่าสามารถแข่งขันกับไปป์ไลน์ที่ลงกราวด์ด้วยข้อความได้ Block อาจเสนอทางเลือกที่ขัดแย้งกันที่น่าสนใจอย่างหนึ่งใน AI สมัยใหม่ นั่นคือเส้นทางที่เร็วที่สุดในการสนทนากับเครื่องจักรตามธรรมชาติคือการสร้างเครื่องจักรที่เรียนรู้วิธีที่เราทำ — โดยการฟัง

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →