Blockの研究チームが公開した「Dessa」は、テキストではなく音声だけで学習した会話モデルだ。元記事は、このモデルが人間のように相槌を打ち、笑い、言いよどみ、感情の揺れまで含めて会話できる、と強く打ち出している。単なる音声読み上げや音声認識の延長ではなく、「話すこと」そのものを音から学ばせた点が売りになっている。AIの音声体験がまだぎこちない、という不満は多くの人に覚えがあるはずで、そこに真正面から挑んだ発表として読むと分かりやすい。
元記事によると、Dessaは「speech-to-speech」、つまり音声入力に音声で返す会話モデルで、しかも学習に使ったのは人間同士の会話の音だけだった。テキストは使っていないし、事前学習済みモデルも使っていない、とBlockは説明している。著者たちは、音声AIは一度テキストへ変換してしまうせいで、感情やニュアンス、間の取り方、笑い声、ため息のような情報が抜け落ちると考えている。Dessaはその欠点を避けるために作られた。
公開ページには、実際の会話録音のデモが並ぶ。説明によれば、下の例はすべて人がDessaに話しかけたライブ録音で、Dessaは誰かに指示されるのではなく、自分で何をいつどう返すかを決めている。字幕は後から付けたものにすぎない。たとえば「Talking about the release」では、相手の発言の途中で笑う様子が見られるという。ほかのモデルは相手が言い終えるまで待ってから反応することが多いが、Dessaは会話の流れの中で割り込み、声量の調整までする。「Remembering a movie」では、相手が映画名を思い出せないまま話すと、Dessaが文を補完する。「An anniversary surprise」では、驚いたような短い息や、感極まったような返しを示す。「Life advice」では、かなり共感的に聞こえる応答をしている。
Blockは、Dessaが「full-duplex」で動くとも説明している。これは、相手の話を聞きながら同時に話す方式だ。普通の音声AIは、相手が話し終えるまで待つのでテンポが遅くなりがちだが、Dessaは会話の途中でうなずきの代わりになる短い反応も返せる。推論はリアルタイムより速く、MacBook Pro M4 Max以上ならローカルでも動くという。さらに、感情や皮肉、笑い、悲しげな声の震えまで音として直接扱えるのが特徴だとされる。
学習面でも、Blockはこのモデルの難しさを強調している。LLMは大量のテキストを必要とするが、Dessaはその「何百倍も少ない単語量」で言語を覚えた、と書かれている。しかも音声には、アクセント、呼吸、間、イントネーション、ユーモア、相手の発話に割り込むタイミングまで含まれるため、ただ単に単語を覚えるよりはるかに複雑だという。とはいえ、Blockは「うまくいった」とし、Dessaの学習をNVIDIA GB200 NVL72 1台だけで行ったとも明かしている。
元記事が挙げる開発の理由は、好奇心、よりよい人間とAIの理解、安全性の3つだ。赤ん坊は文字を見ずに話し方を覚えるのだから、モデルもそうできるのではないか。音声は知性との最も自然なインターフェースであり、それを生かせていない今の音声AIはもったいない。さらに、AIが強力で自律的になるほど、人間の声に含まれる苦痛や不快感を読み取れないのは危険だ、という問題意識も示している。Blockは、こうした未知の領域を外部のAI安全研究者に開いて検証してもらうため、少数の研究者に先行アクセスを与えるとしている。
この発表は、単に「音声モデルを作りました」という話ではない。Blockが言いたいのは、今の音声AIが不自然なのは性能不足というより、会話の素材を途中で捨てているからだ、ということだと思う。人は、言葉の意味だけで話していない。声が上ずったり、相手にかぶせたり、笑いをこらえたりする。その全部が会話の一部だ。だから「テキスト化してから返す」設計は、便利でも会話としては貧しくなりやすい。ここでの問題提起はかなり筋がいい。音声UIは長く「検索窓の音声版」みたいな扱いを受けてきたが、Dessaはそこから一段抜けて、会話そのものをやろうとしている。
元記事の例はたしかに印象的だが、デモがうまくいくことと、現実の雑な会話に広く耐えることは違う。人間の会話は、音の情報が多いぶん曖昧さも増える。話し手が怒っているのか、冗談なのか、ただ疲れているのかは文脈次第だし、相槌ひとつでも空気を壊すことがある。Dessaはそこを音から学んだと主張するが、逆に言えば、現場で安全に振る舞うには音の微妙な誤読をどう抑えるかが重要になる。とくに医療、カスタマーサポート、相談用途では、感情を“それらしく”返すことが価値になる一方で、間違って寄り添うのは危うい。見た目の自然さが増すほど、誤解も起きやすくなる。
テキストなしで学習した点は研究としてかなり刺激的だ。とはいえ、実用化ではテキストが持つ強さも無視できない。文字は情報量が少ないぶん、保存も検索も評価もしやすい。ログ監査や不適切応答の分析もやりやすい。音声だけで学んだモデルは、内部で何をどう整理しているかが見えにくくなるはずで、そこは安全面の裏返しでもある。Blockが安全研究者に早期アクセスを出すのは、その不透明さを自覚しているからだろう。私は、このモデルが「テキストを超えた」と見るより、「テキストでは拾えないものがある」と証明した試みとして見るほうが正確だと思う。会話AIの次の課題は、賢く答えること以上に、どの情報を聞き取り、どの情報を返すべきかを制御することではないか。
Dessaの競争相手は、単純な音声認識モデルではない。むしろ、すでに多くの人が慣れてしまった「AIはゆっくりで、ちょっと間が悪い」という期待値そのものだと思う。ユーザーは、完璧な知識量よりも、自然なテンポや割り込みのうまさで“賢さ”を感じることがある。そう考えると、full-duplexで相槌まで返すDessaは、性能の話だけでなく、会話の印象を塗り替える方向にある。ただし、その印象が強いほど、少しの不自然さも目立つ。だからこそ、Blockが研究公開の形をとり、限られた研究者に先に触らせようとしているのは理にかなっている。派手なデモで終わるか、会話AIの設計思想を変えるか。そこがこの発表の見どころだと思う。
