Block, công ty thanh toán do Jack Dorsey lãnh đạo, đã tham gia vào cuộc đua giọng nói AI với một tuyên bố táo bạo khác thường. Vào thứ Năm, phòng thí nghiệm nghiên cứu nội bộ của công ty đã tiết lộ Dessa, một mô hình chuyển lời nói thành giọng nói mà Block cho biết đã được đào tạo từ đầu không dựa trên điều gì khác ngoài cuộc trò chuyện của con người - không có văn bản, không có bản ghi và không có mô hình nền tảng được đào tạo trước nào bên dưới.

"Theo những gì chúng tôi biết, Dessa là AI đầu tiên trên thế giới mà bạn có thể trò chuyện trực tiếp thực tế chỉ được đào tạo từ giọng nói của con người", Block cho biết trên trang chính thức của mô hình, mô tả bản phát hành là "bản xem trước nghiên cứu của mô hình giọng nói song công hoàn toàn." Công ty đang xuất bản các bản ghi demo trực tiếp, mở danh sách chờ công khai và cấp quyền truy cập sớm cho một nhóm nhỏ các nhà nghiên cứu về an toàn AI. For more context on this story, see our ongoing AI trends.

Dessa thực sự là gì

Dessa là cái mà các nhà nghiên cứu gọi là mô hình chuyển lời nói thành giọng nói song công hoàn toàn: âm thanh vào, âm thanh ra, không có lớp văn bản ở giữa. Phần cuối cùng đó là điểm khác biệt. Hầu như mọi trợ lý giọng nói chính thống - bao gồm cả các chế độ giọng nói được gắn với các chatbot lớn nhất - đều chuyển đổi lời nói của bạn thành văn bản, đưa ra lý do và nói lại câu trả lời. Block lập luận rằng đường ống đã loại bỏ hầu hết những gì tạo nên cuộc trò chuyện của con người.

Thông báo của công ty cho biết: “Việc tương tác với AI bằng giọng nói hiện tại có thể rất tệ”. "Nó biến giọng nói của bạn thành văn bản và loại bỏ một lượng thông tin đáng kinh ngạc mà một mình văn bản không thể mang theo. Các AI mạnh nhất trên thế giới không thể nghe được cảm giác của bạn. Chúng tôi cho rằng điều đó thật nực cười, dẫn đến trải nghiệm tồi tệ hơn và có khả năng gây nguy hiểm."

Vì Dessa không bao giờ chuyển qua văn bản nên Block cho biết nó chủ yếu tiếp nhận cảm xúc, sự mỉa mai, tiếng cười, tiếng thở dài chán nản hoặc giọng nói đứt quãng vì buồn - những tín hiệu cận ngôn ngữ mà các hệ thống dựa trên văn bản thường loại bỏ.

Full-duplex có nghĩa là nó nói như một người chứ không phải một Bot thay phiên nhau

Đặc điểm xác định thứ hai là hoạt động song công hoàn toàn. Dessa lắng nghe và nói chuyện cùng một lúc, theo cách mọi người vẫn làm, thay vì chờ đợi phát hiện được lời kết thúc trước khi trả lời. Theo Block, mô hình đã học được từ các cuộc trò chuyện thực tế khi nào nên tham gia, khi nào nên lùi kênh để thể hiện rằng họ đang theo dõi và khi nào nên giữ im lặng.

Các bản demo trên trang của công ty minh họa các hành vi chưa được lập trình rõ ràng. Trong một clip, Dessa cười giữa câu khi điều gì đó trở nên buồn cười - "cách mọi người làm", Block lưu ý, đối lập điều này với các trợ lý giọng nói thông thường "đợi bạn nói xong rồi cười theo tín hiệu". Trong một trường hợp khác, người dùng yêu cầu người mẫu lên tiếng và nó trở nên to hơn. “Không ai dạy điều đó cả,” công ty nói. Trong phần thứ ba, người đó điền tiêu đề phim và Dessa kết thúc câu cho họ.

Block cũng cẩn thận chỉ ra nguồn gốc của một bản demo đặc biệt bắt mắt, trong đó Dessa tổ chức một cuộc trò chuyện trực tiếp với một hệ thống AI khác. "Trong bản demo này, Dessa đang nói chuyện với GPT-Live-1, một mô hình AI của bên thứ ba. Cả hai giọng nói đều do AI tạo ra", trang này cho biết và lưu ý rằng nhà phát triển của GPT-Live-1 không liên kết với Block và chưa xem xét hoặc xác nhận Dessa.

Tại sao chặn toàn bộ văn bản bị bỏ qua

Việc đào tạo một mô hình hoàn toàn không có văn bản là một sự đánh cược có chủ ý. Quan điểm của Block là lời nói không phải là một lớp bao bọc bị mất xung quanh ngôn ngữ - nó là phương tiện chính và một mô hình phát triển dựa trên âm thanh thô có thể phát triển các khả năng và chế độ lỗi mà các hệ thống được đào tạo bằng văn bản không có.

Bản thân công ty coi lợi ích khoa học là những câu hỏi mở thay vì kết quả đã được giải quyết: các mô hình chỉ có lời nói học ngôn ngữ và sự kiện hiệu quả như thế nào so với các hệ thống được đào tạo bằng văn bản? Họ có thể học ngôn ngữ mới hiệu quả như thế nào? Họ có thể thực hiện những loại hình học tập trong ngữ cảnh nào? Thông báo cho biết: “Dessa nâng cao ranh giới của các mô hình học sâu và tạo ra một danh mục khác với những hành vi hoàn toàn mới và thú vị để các nhà nghiên cứu khám phá”.

Ngoài ra còn có một tuyên bố thực dụng được chôn giấu trong sân. Block cho biết suy luận của Dessa chạy nhanh hơn thời gian thực, do đó, các câu trả lời được đưa ra mà không có những khoảng dừng khó xử như các trợ lý giọng nói theo lượt và – theo thông tin của Unite.AI về buổi ra mắt – rằng model này chạy cục bộ trên phần cứng tiêu dùng có khả năng như MacBook Pro với chip M4 Max trở lên. Nếu chính xác, một mô hình giọng nói song công hoàn toàn chạy cục bộ sẽ rất đáng chú ý tại thời điểm mà hầu hết AI giọng nói cạnh tranh vẫn bị giới hạn trên nền tảng đám mây.

Một "Khoảnh khắc phát biểu GPT-3"

Ragavan Thurairatnam, người đứng đầu phòng thí nghiệm nghiên cứu AI của Block, đã mô tả Dessa là mô hình AI đầu tiên có thể tổ chức một cuộc trò chuyện thực tế sau khi đào tạo hoàn toàn về giọng nói và gọi việc phát hành là “khoảnh khắc GPT3 cho lời nói”, theo báo cáo của Unite.AI về thông báo. Sự so sánh được đưa ra: Sự ra mắt năm 2020 của GPT-3 không ngay lập tức tạo ra những sản phẩm hữu ích, nhưng nó định hình lại những gì các mô hình ngôn ngữ có thể làm và khởi động chu kỳ đầu tư hiện tại.

The Verge, đưa tin về buổi ra mắt, đã mô tả kết quả này là một mô hình "nói chuyện với bạn như một người bạn mới vụng về" - một bản tóm tắt đầy sức gợi của các clip demo trong đó Dessa thở hổn hển vì ngạc nhiên "ôi chúa ơi" hoặc phản hồi tin tức cá nhân với vẻ biết ơn đầy nước mắt. Liệu những phong cách đó có phản ánh sự hiểu biết thực sự hay việc tái tạo các mẫu phức tạp hay không chính xác là loại câu hỏi mà Block cho biết họ muốn cộng đồng nghiên cứu thăm dò.

Góc độ an toàn được đặt lên hàng đầu — Một lần

Đáng chú ý, Block không vận chuyển Dessa thẳng đến người tiêu dùng. Bản phát hành là bản xem trước nghiên cứu: các bản ghi được công khai, danh sách chờ được mở nhưng quyền truy cập sớm vào thực hành đang bị giới hạn ở một nhóm nhỏ các nhà nghiên cứu an toàn AI. Do mối lo ngại đang diễn ra về các trò lừa đảo nhân bản giọng nói và những người bạn đồng hành AI thao túng cảm xúc, một mô hình giọng nói có thể thể hiện — và có lẽ gợi ra — cảm xúc chính xác là loại mà các nhóm an toàn hệ thống muốn đánh giá trước khi triển khai hàng loạt.

Block cho biết nhiều bản ghi âm hơn sẽ được chia sẻ trên X trong những ngày tới. Công ty chưa công bố giá cả, quyền truy cập API hoặc kế hoạch tích hợp cho các sản phẩm Square, Cash App hoặc Bitkey của mình.

Những câu hỏi mở

Chuyến phóng của Dessa đáp xuống một cánh đồng đông đúc. Mọi phòng thí nghiệm AI lớn hiện đều cung cấp chế độ giọng nói và các công ty khởi nghiệp đã phát triển các mô hình giọng nói theo thời gian thực trong hai năm. Điều làm nên sự khác biệt của Dessa là công thức đào tạo của nó - lời nói thuần túy, không có văn bản - và tuyên bố rằng hành vi đàm thoại nổi lên như tiếng cười giữa câu phát sinh mà không cần hướng dẫn rõ ràng.

Những người hoài nghi sẽ muốn đánh giá độc lập. Liệu một mô hình không có văn bản có thể thực sự tìm hiểu các sự kiện một cách đáng tin cậy hay nó gây ảo giác một cách tự do hơn nếu không có nền tảng của ngôn ngữ viết? Nó có thể mở rộng sang các ngôn ngữ mới mà không cần bản chép lời không? Trang riêng của Block mời gọi chính xác những câu hỏi này, đó là sự tự tin hoặc sự thừa nhận thẳng thắn rằng không ai - kể cả Block - biết câu trả lời.

Hiện tại, Dessa là một hiện vật nghiên cứu có danh sách chờ. Nhưng nếu việc đào tạo chỉ bằng giọng nói tỏ ra cạnh tranh với các quy trình dựa trên văn bản, thì Block có thể đã đưa ra một trong những ván cược trái ngược thú vị hơn trong AI hiện đại: rằng con đường nhanh nhất dẫn đến cuộc trò chuyện bằng máy tự nhiên là chế tạo những cỗ máy học theo cách chúng ta đã làm - bằng cách lắng nghe.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →