Block 推出 Dessa，一种仅接受人类语音训练的语音人工智能

Block 的新 Dessa 模型是一种全双工语音人工智能，只接受人类对话的训练——没有文本，没有预先训练的模型。研究预览现已上线。

由 Jack Dorsey 领导的支付公司 Block 以异常大胆的主张进入了语音人工智能竞赛。周四，该公司的内部研究实验室推出了 Dessa，这是一种语音到语音模型，Block 表示，该模型是从头开始训练的，除了人类对话之外，没有文本、没有文字记录，也没有预先训练的基础模型。

Block 在该模型的官方页面上表示：“据我们所知，Dessa 是世界上第一个可以进行真实实时对话的人工智能，它仅通过人类语音进行训练。”该模型的官方页面将此次发布描述为“全双工语音模型的研究预览”。该公司正在发布现场演示录音，开放公共候补名单，并为一小部分人工智能安全研究人员提供早期访问权。更多相关背景，请参阅我们的AI新闻。

德萨到底是什么

Dessa 是研究人员所说的全双工语音到语音模型：音频输入、音频输出，中间没有文本层。最后一部分是差异化因素。几乎所有主流语音助手（包括最大的聊天机器人所附带的语音模式）都会将您的语音转换为文本，对其进行推理，然后说出回应。布洛克认为，管道抛弃了人类对话的大部分人性化元素。

该公司的声明称：“与当前的语音人工智能交互实在是太糟糕了。” “它将你的声音变成文本，并丢弃大量仅靠文本无法携带的信息。世界上最强大的人工智能无法听到你的感受。我们认为这是荒谬的，会导致更糟糕的体验，并且有潜在的危险。”

布洛克说，因为黛莎从不传递文本，所以它本能地捕捉到情感、讽刺、笑声、沮丧的叹息或悲伤的声音——这些是基于文本的系统通常会丢弃的副语言信号。

全双工意味着它像人一样说话，而不是轮流机器人

第二个定义特征是全双工操作。黛莎像人们一样一边听一边说话，而不是等待检测到话语结束才做出回应。根据布洛克的说法，该模型从真实的对话中学习了何时插话、何时通过反向渠道表明自己正在跟进，以及何时保持安静。

该公司页面上的演示展示了没有人明确编程的行为。在一个片段中，当事情变得有趣时，黛莎会笑起来——“就像人们做的那样，”布洛克指出，这与传统的语音助手“等你说完，然后在提示时笑”形成鲜明对比。在另一个例子中，用户要求模型说话，模型的声音就会变大。 “没有人教它，”该公司表示。在第三个场景中，这个人在电影标题上空白，德莎为他们完成了这句话。

Block 还小心地标记了一个特别引人注目的演示的出处，其中 Dessa 与另一个人工智能系统进行了实时对话。 “在这个演示中，Dessa 正在与第三方 AI 模型 GPT-Live-1 进行对话。两种声音都是 AI 生成的，”该页面指出，并指出 GPT-Live-1 的开发人员不隶属于 Block，也没有审查或认可 Dessa。

为什么要完全阻止跳过的文本

训练一个完全没有文本的模型是一个经过深思熟虑的赌注。布洛克的立场是，语音不是语言的有损包装——它是主要媒介，在原始声音上成长的模型可能会开发出文本训练系统所不具备的功能和故障模式。

该公司本身将科学优势视为开放性问题，而不是确定的结果：与文本训练系统相比，纯语音模型学习语言和事实的效率如何？他们学习新语言的效率如何？他们可以进行哪些类型的情境学习？公告中写道：“Dessa 推进了深度学习模型的前沿发展，并创建了一个不同的类别，其中包含全新且有趣的行为供研究人员发现。”

球场上还隐藏着一个务实的主张。 Block 表示，Dessa 的推理运行速度比实时速度更快，因此回复不会出现困扰回合制语音助手的尴尬停顿，而且根据 Unite.AI 对此次发布的报道，该模型在消费类硬件上本地运行的能力与配备 M4 Max 芯片或更好芯片的 MacBook Pro 一样。如果准确的话，本地运行的全双工语音模型将在最具竞争力的语音人工智能仍受云限制的时刻引人注目。

“GPT-3 演讲时刻”

根据 Unite.AI 的公告，Block 人工智能研究实验室的负责人 Ragavan Thurairatnam 将 Dessa 描述为第一个在完全进行语音训练后能够进行真实对话的人工智能模型，并将此次发布称为“GPT3 语音时刻”。对比很明显：GPT-3 2020 年的首次亮相并没有立即产生有用的产品，但它重新定义了语言模型的功能，并拉开了当前的投资周期。

报道此次发布的 The Verge 将这一成果描述为“像一位尴尬的新朋友一样与你交谈”的模型——这是对演示片段的令人回味的总结，其中德萨惊讶地喘着气“哦，我的上帝”，或者以听起来像是热泪盈眶的感激之情回应个人新闻。这些行为是否反映了真正的理解或复杂的模式再现正是布洛克希望研究界探讨的问题。

安全角度第一——这一次

值得注意的是，布洛克并没有将 Dessa 直接运送给消费者。该版本是一个研究预览：录音是公开的，候补名单是开放的，但实际的早期访问仅限于一小群人工智能安全研究人员。鉴于人们对语音克隆骗局和情绪操纵人工智能伴侣的持续关注，能够表达（并且可能引发）情绪的语音模型正是系统安全团队在大规模部署之前想要评估的类型。

Block 表示，未来几天将在 X 上分享更多录音。该公司尚未公布其 Square、Cash App 或 Bitkey 产品的定价、API 访问或集成计划。