AI の「世界モデル」をめぐる議論は、いまかなり割れています。画像そのものを未来まで生成して予測するやり方に対し、Yann LeCun らは「本当に必要なのは全部のピクセルではなく、行動に効く表現ではないか」と主張してきました。今回取り上げる記事は、その JEPA 系の world model を実際に何百回も試し、どこで強くて、どこで弱いのかをかなり具体的に示したものです。理屈だけでなく、計画の立て方を少し変えるだけで成績が大きく動く、という話でもあります。
元記事を書いた Haddy Alchaer は、LeCun らが公開した JEPA world model の一種である LeWM を、数か月かけて 600 回実験したと報告しています。LeWM は、観測画像を encoder で埋め込みベクトルに変え、predictor が行動を入れたときの次の埋め込みを予測し、planner がその予測空間の中で複数の行動列を試して、目標の埋め込みに最も近づく経路を選ぶ仕組みです。つまり、画像そのものを細かく再現するというより、行動に必要な情報だけを埋め込み空間で扱う設計です。
記事の主戦場は Push-T というロボット操作のベンチマークでした。灰色の T 字ブロックを机の上で押し動かし、緑の目標位置に合わせる課題です。Alchaer はまず、LeWM の predictor が計画の足を引っ張っているのかを確かめるため、学習済み predictor を simulator の完全な physics に置き換えました。そのうえで、ゴールが 75 step 先にある長い課題を 250 個試したところ、元の Vanilla LeWM は 78%、完全 physics 版は 77% でした。少なくとも LeWM が訓練で見た範囲の経路では、予測精度はすでに計画に十分だった、という読みです。
そこから著者は、性能差はモデル本体より planner の使い方にあると見ています。最初の改善は、75 step を一気に計画する代わりに、25 step ごとの subgoal をつなぐ方法でした。公開時点のままの LeWM は長距離課題で 22% しか成功しなかったのに、25 step 刻みで計画すると 80% まで上がり、これは expert demonstration の理想的な subgoal を与えた場合にかなり近い数字です。何度も検索を回してもほとんど改善しなかったことから、単純な探索不足ではなく、「長すぎる計画を一息で解こうとしている」こと自体が問題だとしています。
2つ目は、過去の実演をつないだ latent memory graph です。約 46 万個の埋め込み状態をノードにして、同じデモの連続状態と、埋め込み空間で近い別デモの状態を結びました。すると、遠いゴールを探すときにこのグラフ上を探索し、途中の状態を subgoal にできる。初期版では別デモ間の jump に実質コストがなく、あり得ない経路を選びがちでしたが、jump ごとにコストを入れると 250 個の長距離課題で 62% から 85% まで改善しました。著者はさらに、Push-T の標準テストは見た目より易しく、84% のゴールが別のデモにすでに近い状態として存在していたとも指摘します。
後半では、memory graph に穴があるときの補完として、shift・rotate・mirror した transformed memories を使う方法が出てきます。これで成功率は 85% まで戻り、より難しいテストでも 45% から 56% に改善しました。最後に著者が示したのが、評価関数の「何をゴールとみなすか」が結果を大きく左右する、という点です。ゴール画像には本来ブロックだけでなく pusher の位置も写るため、それを評価に含めるか外すかで、exact physics planner の成功が 50 件中 9 件から 39 件へ跳ねました。つまり、ロボット本体より前に、評価の定義が成績を決めていた場面がある、というわけです。
この話でいちばん面白いのは、「モデルをもっと賢くすれば勝てる」という素直な期待が、あまり当たっていない点だと思います。直感的には、長距離で失敗するなら予測誤差が積み上がっているはずで、なら physics を正確にすれば解決するはずです。ところが記事では、完全 physics に替えても 77% から 78% への差しか出ていない。そこから一気に効いたのが、25 step ごとの subgoal です。これはかなり示唆的で、ボトルネックは「世界をどう表現するか」より「その表現をどう分割して使うか」だった可能性が高いです。私はここに、world model 研究の足元の難しさが出ていると思います。アルゴリズムの理想形を追うより、実際に動くときの計画単位を見直したほうが成果が大きい。地味ですが、実装の世界ではこちらのほうがずっと効きます。
JEPA の説明はしばしば「ピクセルを生成しないから効率的」と語られます。ただこの記事を読むと、より本質的なのは、埋め込み空間が過去の経験をかなり大胆に再利用できることだと感じます。memory graph も transformed memories も、要するに「以前見た状態の断片」を今の課題に合わせてつなぎ直しているだけです。新しい知識をゼロから生むのではなく、既存の状態遷移をうまく流用している。私は、この方向はロボティクスと相性がいいと思います。現実のロボットは、毎回まったく未知の世界で動くわけではなく、似た配置、似た動き、似た失敗を何度も繰り返します。だからこそ、巨大な生成モデルより、過去の経験をどれだけ再配置できるかのほうが効く場面がある。JEPA 系は、その「再配置」に向いた形なのではないでしょうか。
Push-T の話で気になったのは、標準テストが思った以上にやさしく見える点です。ゴールが別のデモにすでに近く、しかも多くのデモが同じあたりに収束して終わるなら、モデルは本当の意味で汎化していなくても点が取れてしまう。著者がより厳しいテストを作ったのは妥当ですし、その結果 75% と 45% の差が出たのも納得感があります。ここで大事なのは、ベンチマークを疑え、という雑な話ではありません。むしろ、何を「成功」と定義するかを細かく決めないと、モデルの長所も短所も見えないということです。特にロボティクスでは、同じ位置に着くことと、そこに至るまでの経路が自然であることは別問題です。見た目のスコアだけでは、まだ本当の難しさを取り切れていないのだと思います。
この記事を読んで少し引っかかるのは、改善の多くが expert demonstrations に強く依存していることです。subgoal も memory graph も transformed memories も、元のデモがあって初めて成立します。しかも著者自身が、標準テストはデモの流れに沿うゴールが多いと指摘している。これは裏を返すと、「見たことのある流れ」をつなぐのは得意でも、まったく新しい目的地に向かうとどうなるのかはまだ別問題だということです。私は、ここが JEPA world model の次の焦点になると思います。デモの再利用で 85% まで行けるのは立派ですが、実際のロボット導入では、デモの隙間にある例外処理や、そもそもデモが存在しない場面が厄介です。そこまで含めて初めて、「world model が動く」と言えるのではないでしょうか。
参考: After 600 experiments, here's what I discovered about JEPA world models
