音楽の制作や練習で、ボーカルだけ抜き出したい、ドラムだけ消したい、あるいはベースの動きを追いたい、という場面は珍しくありません。GitHub に公開された StemDeck は、そうした用途に向けた stem separation ツールです。クラウドに音源を上げず、自分のPCの中だけで処理を完結させる点を強く打ち出しています。最近の音声AIは便利さと引き換えにアップロード前提になりがちですが、そこに違和感を持つ人にはかなり刺さる作りだと思いました。
StemDeck は、音楽ファイルをいくつかの“stem”に分けるためのデスクトップ向けプラットフォームです。対応している入力は MP3、WAV、FLAC、OGG/Opus、MP4、M4A で、YouTube の URL を貼り付けて使うこともできます。分割できるのは最大 6 系統で、ボーカル、ドラム、ベース、ギター、ピアノ、other に切り分けます。見た目は DAW 風のマルチトラックミキサーになっていて、各 stem を mute や solo で切り替えたり、音量を調整したり、波形を拡大表示したり、区間ループをかけたり、そのまま個別書き出しや選んだ stem だけを混ぜたカスタム mix を作れます。
元記事がかなり強調しているのは、「free, local stem separation. No account. No upload. No subscription.」という方針です。StemDeck はあくまで、すでに自分が持っている音源を処理するためのツールで、ダウンローダーではないと説明しています。YouTube 対応も、権利のあるコンテンツを扱うための利便性として位置づけられていて、処理した音声を保存・キャッシュ・再配布しない、すべての処理はローカルで完結し、何も端末の外へ出ないとしています。Open source の代替として Moises や LALAL.AI のようなクラウド型サービスと並べつつ、そちらは高品質さやスマホアプリ、より多い stem 数で勝る一方、StemDeck は無料・オフライン・非ログインで使えるのが価値だと整理しています。
機能面もかなり具体的です。stem 分離には Demucs の htdemucs_6s を使い、Torch の実行先は CUDA、MPS、CPU の順で自動判定します。波形表示は全 stem で min/max sample を使い、正規化は共有、ズームや Fit、ルーラー上のドラッグでのループ、金色の再生位置表示、stem ごとに揃った lane を備えています。選択した stem だけに絞る「stem subset extraction」や、選んだ stem の補集合として 7 本目の “Original” backing track を出す仕組みもあり、A/B 比較をしやすくしています。さらに、BPM、key、scale、confidence、LUFS、sample peak まで解析し、ジョブは途中でキャンセルでき、ライブラリにはフォルダ単位の整理、検索、ドラッグ＆ドロップ、ゴミ箱もあります。
比較表では、StemDeck は「Free, forever」で、処理は自分のマシン上で行い、音声は第三者サーバーへ送られないと説明しています。商用サービスは一般に速く、モバイル対応もあり、追加の音楽向け機能も持つが、そのぶん課金やアカウントが必要で、オフライン利用はできない。StemDeck はその隙間に入り、個人学習やプライバシー重視の用途なら十分だ、と主張しているわけです。配布物も macOS と Windows 向けに用意され、初回起動時だけ Python runtime、FFmpeg、Demucs model のダウンロードが必要ですが、その後はすぐ起動できると案内しています。
このプロジェクトで面白いのは、単に「無料の音源分離ソフトです」と言っていないところだと思う。無料だけなら他にもあるし、ローカル処理だけを売りにする道具もある。ただ StemDeck は、無料・非ログイン・非アップロード・オープンソースをまとめて前面に出している。ここまで条件を重ねると、性能競争ではなく価値観の競争になる。つまり「どれだけ速いか」より、「自分の音源をどこへ置くのか」を問うプロダクトになっている。
この切り口は、音声AIの現在地をよく表しているとも思う。生成系のサービスは、使いやすさを得る代わりにクラウドへ音声を預ける設計が多い。音楽データは個人情報そのものではないにせよ、未発表曲、リハーサル音源、制作途中のデモなど、外に出したくない素材がかなり多い。StemDeck はそこを真正面から突いていて、「便利だけど、音は手元に置きたい」という人の不安をかなり丁寧にすくっている。これは単なる機能差ではなく、利用者の心理への回答だと思う。
元記事自身がかなり正直で、StemDeck は Moises や LALAL.AI と競争するつもりではない、と言い切っている。ここは好印象だが、同時に限界もはっきりしている。stem 数は 6 に固定され、モバイルアプリもない。さらに、ピッチシフトや chord detection、lyrics、click track、BPM tap といった“現場であると嬉しい機能”は付いていない。UI も「hobby-grade」と自ら位置づけていて、完成度で押す製品ではない。
この割り切りは、オープンソースのデスクトップツールとしてはかなり筋が通っている。全部入りを目指すと、開発の重心が一気に広がってしまうからだ。音源分離だけに集中し、その周辺は欲しい人が fork して足せるようにしておく。そういう設計は、商用サービスの“全部盛り”と正面衝突しないための現実的な選び方でもあると思う。一方で、一般ユーザーから見ると「無料でできる範囲」が明確すぎて、期待が外れる場面もありそうだ。そこを最初から比較表で示しているのは、誠実ではあるが、製品としてはかなり潔い。
StemDeck の使い道を読むと、単なる「分離して終わり」ではなく、練習や transcription、remixing に寄せた作りだと分かる。DAW 風のミキサー、stem の個別 solo、ループ、波形ズーム、補集合トラック、BPM や key の解析。このへんは、耳コピやアレンジの確認をやっている人には地味に効く機能だ。逆に言えば、完成品として聴くためではなく、音を観察するための道具に近い。
私はここに、このツールの価値の中心があると思う。クラウド型のサービスは、だいたい結果の良さで勝負する。でも StemDeck は、結果そのものより、途中のやりとりを見せることに力を使っている。どの stem を残すか、残した結果、何が backing track 側に回ったか、再生中の音量はどうなっているか。そういう確認のしやすさは、学習用途ではかなり重要だ。音楽を“素材”として扱う人にとって、これは単なる便利機能ではなく、作業の見通しを良くする道具になっている。
StemDeck が示しているのは、AI 音声処理でも「クラウドに載せない」こと自体が差別化になる、という事実だと思う。しかもそれは、プライバシー保護の建前だけではなく、オフラインで使える、課金がいらない、アカウント管理がない、という実利に直結している。GitHub 上で 3.1k の star と 258 の fork を集めているのも、その需要が小さくないことを示している。
ただ、こうした道具は“誰にでも便利”にはなりにくい。GPU や MPS がある環境では快適でも、CPU だけだと遅くなる。初回は Python runtime やモデルのダウンロードも必要だ。つまり、魅力ははっきりしているが、気軽さは商用クラウドに負ける場面がある。それでも、音楽データを手元に置きたい人、繰り返し耳コピや練習をする人、制作の途中で細かく検証したい人にとっては、かなり筋の良い選択肢だと思う。大きな市場を取りにいく製品ではないが、必要な人にはかなり深く刺さるタイプの公開プロジェクトだ。
