ジャック・ドーシー氏率いる決済会社ブロックは、異例に大胆な主張を掲げて音声AI競争に参入した。木曜日、同社の社内研究室はDessaを発表した。これはブロック氏によると、人間の会話だけをもとにゼロからトレーニングされたもので、テキストもトランスクリプトもその下に事前トレーニングされた基礎モデルもなかったという。

「私たちが知る限り、Dessa は人間の音声のみから訓練された、現実的なライブ会話ができる世界初の AI です」とブロック氏はモデルの公式ページで述べており、このリリースは「全二重音声モデルの研究プレビュー」であると説明されています。同社は、ライブデモ録画を公開し、公開待機リストを開設し、少数の AI 安全研究者グループに早期アクセスを許可しています。 この件の詳細は、人工知能の最新情報をご覧ください。

Dessa とは実際には何ですか

Dessa は、研究者が全二重音声認識モデルと呼んでいるもので、音声入力、音声出力があり、間にテキスト レイヤーがありません。最後の部分が差別化要因になります。最大のチャットボットに付属する音声モードを含む、ほぼすべての主流の音声アシスタントは、あなたの音声をテキストに変換し、それについて理由を説明し、応答を音声で返します。ブロック氏は、パイプラインは人間の会話を人間たらしめる要素のほとんどを捨ててしまう、と主張する。

同社の発表では、「現在の音声AIとの対話はまったくひどいものになる可能性がある」と述べられている。 「それはあなたの声をテキストに変換し、テキストだけでは伝えることができない信じられないほどの量の情報を捨てます。世界で最も強力なAIはあなたの気持ちを聞くことができません。私たちはそれがばかげており、より悪い経験につながり、潜在的に危険であると考えています。」

Dessa はテキストを通過しないため、感情、皮肉、笑い声、イライラしたため息、悲しみで割れた声など、テキストベースのシステムでは通常無視されるパラ言語信号をネイティブに拾い上げるとブロック氏は述べています。

全二重とは、順番を決めるボットではなく、人間のように話すことを意味します

2 番目の特徴は全二重動作です。デッサは、人間のように、発話の終わりが検出されるのを待って応答するのではなく、聞きながら同時に話します。ブロック氏によると、モデルは実際の会話から、いつ割り込むべきか、いつ話に同調していることを示すために相槌を打つべきか、そしていつ沈黙を守るべきかを学習したという。

同社のページにあるデモは、誰も明示的にプログラムしていない動作を示しています。あるクリップでは、デッサは何かおかしくなった瞬間に文の途中で笑います。「人間のやり方だ」とブロックは指摘し、これを「話し終わるのを待ってすぐに笑う」従来の音声アシスタントと対比させています。別のケースでは、ユーザーがモデルに発言するよう求めると、発言の声が大きくなります。 「誰もそんなこと教えてくれなかった」と同社は言う。 3 つ目では、その人が映画のタイトルを空白にすると、デッサが代わりに文章を完成させます。

ブロック氏はまた、Dessa が別の AI システムとライブで会話を行う、特に目を引くデモの出所を示すために注意を払っています。 「このデモでは、Dessa はサードパーティの AI モデルである GPT-Live-1 と話しています。どちらの音声も AI によって生成されています」とページには記載されており、GPT-Live-1 の開発者は Block と提携しておらず、Dessa のレビューも承認も行っていないことが指摘されています。

スキップされたテキストを完全にブロックする理由

テキストをまったく含まないモデルをトレーニングすることは、意図的な賭けです。ブロック氏の立場は、音声は言語を包み込む不可逆的なものではなく、主要な媒体であり、生の音で成長するモデルは、テキストで訓練されたシステムにはない機能や障害モードを開発する可能性がある、というものだ。

同社自体は、科学的な利点を、確定した結果ではなく未解決の疑問として捉えています。つまり、音声のみのモデルは、テキストで訓練されたシステムと比較して言語と事実をどの程度効率的に学習するのでしょうか?新しい言語をどのくらい効率的に学習できるでしょうか?どのような種類の状況に応じた学習を実行できますか? 「Dessa は深層学習モデルの最前線を前進させ、研究者が発見できるまったく新しい興味深い動作を備えた別のカテゴリを作成します」と発表には書かれています。

ピッチ内には現実的な主張も埋もれている。ブロック氏によると、Dessa の推論はリアルタイムよりも高速に実行されるため、ターンベースの音声アシスタントにありがちな気まずい一時停止がなく応答が返され、また、Unite.AI の発表によると、このモデルは M4 Max チップを搭載した MacBook Pro と同等以上の性能を持つ消費者向けハードウェアでローカルに実行されるとのことです。正確であれば、競合する音声 AI のほとんどが依然としてクラウドに依存している現在、ローカルで実行される全二重音声モデルは注目に値するでしょう。

「GPT-3 スピーチの瞬間」

Unite.AIの発表に関する報告書によると、ブロック氏のAI研究ラボを率いるラガヴァン・トゥライラトナム氏は、Dessaを音声のみでトレーニングした後に現実的な会話ができる初のAIモデルであると述べ、このリリースを「GPT3のスピーチの瞬間」と呼んだ。この比較は指摘的です。GPT-3 の 2020 年のデビューは、すぐには有用な製品を生み出しませんでしたが、言語モデルができることを再構築し、現在の投資サイクルを開始しました。

この発表を報道したThe Vergeは、その結果を「気まずい新しい友達のように話しかけてくる」モデルだと評した。これは、Dessaが驚きに息を呑んで「オーマイゴッド」と息を呑んだり、個人的なニュースに涙ぐむような感謝の言葉を返したりするデモクリップの刺激的な要約である。こうしたマンネリズムが真の理解を反映しているのか、それとも洗練されたパターンの再現を反映しているのか、まさにこの種の疑問が研究コミュニティに調査してもらいたいとブロック氏は述べている。

安全な角度が最優先 - 一度だけ

特に、Block は Dessa を消費者に直接出荷していない。このリリースは研究プレビューです。録画は公開されており、順番待ちリストが開かれていますが、実践的な早期アクセスは AI 安全性研究者の少数のグループに限定されています。音声クローン詐欺や感情を操作する AI コンパニオンに対する継続的な懸念を考慮すると、感情を表現できる、そしておそらく引き出すことができる音声モデルは、まさにシステム安全性チームが大量導入前に評価したい種類のものです。

ブロック氏は、今後数日以内にさらに多くの録音が X で共有される予定だと述べています。同社は、Square、Cash App、または Bitkey 製品の価格、API アクセス、または統合計画を発表していません。

未解決の質問

デッサの打ち上げは混雑したフィールドに着陸します。現在、主要な AI ラボはすべて音声モードを出荷しており、新興企業は 2 年間にわたってリアルタイム音声モデルを推進しています。 Dessa の特徴は、そのトレーニング レシピ (純粋な音声、テキストなし) と、文中の笑いなどの創発的な会話行動が明示的な指示なしで生じるという主張です。

懐疑論者は独立した評価を求めるでしょう。テキストのないモデルは実際に事実を確実に学習できるのでしょうか、それとも書き言葉の基礎がなくてもより自由に幻覚を起こすのでしょうか?トランスクリプトなしで新しい言語に拡張できますか?ブロック自身のページでは、まさにこれらの質問を募集しています。これは、ブロックを含め誰も答えをまだ知らないという自信、または率直な認識のいずれかです。

今のところ、Dessa は待機リストのある研究成果物です。しかし、音声のみのトレーニングがテキストベースのパイプラインと競合することが証明されれば、ブロック氏は現代の AI における最も興味深い逆張りの賭けの 1 つを明らかにしたかもしれません。それは、自然な機械会話への最速のルートは、私たちが行った方法で、つまり聞くことによって学習する機械を構築することであるということです。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →