たった13秒で1時間分を文字起こしする、Embedding Gemma Transcribeの正体
Google DeepMindのEmbeddingGemma 2を土台にして、音声認識モデルへ作り替えたプロジェクトが登場した。売り文句はかなり強く、1時間の音声を約13秒で文字起こしでき、しかもBase MacBook Air上で、端末の中だけで動くという。クラウドに投げずに済むローカル音声認識は以前からあるが、ここまで速いとなると話は少し変わってくる。単に「便利な実験」ではなく、Embedding modelの使い方そのものをずらしている点が面白い。 元記事が示しているのは、音声を理解するためのモデルを一から作った話ではない。EmbeddingGemma 2はもともと、テキスト、画像、音声、動画を同じ埋め込み空間に並べるmultimodal embedding modelだという。埋め込み空間というのは、異なる種類のデータを「近さ」で扱える場所だと思えばよい。たとえば、声に出した単語の音声は、その単語の書き言葉の近くに来る。そこを逆手に取って、音声をその空間の中で読ませる発想に変えたわけだ。 仕組みは意外と単純だ。EmbeddingGemma 2のaudio encoderはそのま
papoo.work