Train / Watch / Weights のタブで、学習・観戦・重み確認 を切り替えられるavg500 や peak、roll/s、kl などの指標で確認できるCompare runs や grid 表示で、複数の実験を並べて比較 できるのが便利tinyppo-snake は、Gradient Explorer 上で公開されている in-browser PPO training のデモです。
ざっくり言うと、ブラウザを開くだけで、PPOという強化学習アルゴリズムの学習過程を見たり、回したりできる というものです。
PPOは Proximal Policy Optimization の略で、強化学習でよく使われる手法のひとつです。
難しく聞こえますが、要するに「試行錯誤で行動方針を少しずつ改善していく賢い学習法」だと思えばOKです。
ゲームで言えば、「ヘビをうまく動かして、より長く生き残るにはどうしたらいいか」を、AIが自分で学んでいくイメージですね。
個人的には、こういう「裏で何が起きているかを見せてくれる学習ツール」はかなり好きです。
AIの成果物だけを見るのではなく、学習の途中経過そのものが見える のが面白いからです。研究っぽさと遊びっぽさがちょうどいいバランスなんですよね。
ページには Train、Watch、Weights のタブがあります。
この構成だけでも、かなり「ちゃんとした実験環境」感があります。
このUIが面白いのは、単に「始めるボタンがある」だけではなく、学習の観測・比較・再開・リセット まで一通り揃っていることです。
つまり、ちょっとしたデモではなく、実験を回すための道具 にかなり近いです。
画面には、学習の進み具合を示す指標が並んでいます。たとえば：
pol: policy loss（行動方針の学習誤差みたいなもの）val: value loss（将来の見込みを当てる誤差）ent: entropy（行動のランダムさ。高いとまだ迷っている感じ）gn: gradient norm（更新の大きさ）kl: KL divergence（更新前後の方策のズレ具合）専門用語が多いですが、全部を暗記する必要はありません。
大事なのは、「AIがうまく学べているかを、スコアと内部指標の両方から見られる」という点です。
これは地味に重要で、ゲームの点数だけ見ていると「なんで強くなったのか」「なぜ不安定なのか」がわかりにくいんですよね。
Environment Sample という表示があるので、このページでは Snake系の環境 を使っていることがわかります。
ヘビゲームは、強化学習の題材としてかなり相性がいいです。
理由はシンプルで、
からです。
こういう題材は、数式よりも先に「なるほど、AIってこうやって学ぶのか」と感覚で理解しやすいのがいいところです。
特に、ブラウザ上で動いていると「研究室の中だけの話」ではなく、触れる道具 に変わる感じがあります。ここはかなり魅力的だと思います。
ページには Compare runs → や Configure runs があり、さらに
3 seeds @ default LRLR sweep (1e-3 / 3e-3 / 1e-2)2 seedsCustomといったプリセットが見えます。
ここでのポイントは、seed（シード） と LR（learning rate） を比較できることです。
つまりこのページは、「1回うまくいった」で終わるのではなく、条件を変えて実験結果を見比べる ための設計になっています。
これはかなり研究っぽいし、同時に“ちゃんとした学習基盤”としても好感が持てます。
個人的には、ここが一番おもしろいところです。
AIのデモって、派手な結果を1つ見せて終わるものも多いですが、実際には 比較できてこそ価値がある ことが多いです。
その意味で tinyppo-snake は、見せ方が地味に賢いと思います。
本文の抽出を見る限り、初期状態では idle や waiting for first snapshot… と表示されていて、まだ学習は始まっていません。
でも、それでも十分に面白いんです。
なぜかというと、このページは「結果」よりも「プロセス」を見せようとしているからです。
AIの世界って、完成品だけ見ると魔法みたいに見えますが、実際は試行錯誤の積み重ねです。
その地味な過程を、UIとして触れる形にしているのが良いんですよね。
しかも Resume training、Reset envs、Start all runs、Stop all など、操作系もかなり充実しています。
つまりこれは単なる閲覧ページではなく、学習をコントロールするための小さな研究所 なんだと思います。
強化学習は、説明だけ読むとかなりとっつきにくい分野です。
でも tinyppo-snake のように、ブラウザ上で動いて、指標が見えて、比較ができると、急に「自分でも触れそう」に変わります。
もちろん、これだけでPPOの全部がわかるわけではありません。
でも、入門の入口としてはかなり強い です。
難しい理論を先に飲み込ませるのではなく、まずは「学習ってこう進むんだ」と体感させる。
この順番は、やっぱり大事だと思います。
tinyppo-snake は、ブラウザの中でPPOの学習を動かし、観察し、比較できる強化学習デモです。
ヘビゲーム風の環境を使っていて、学習の進み具合や内部指標を見ながら、複数のrunを並べて試せるのが魅力です。
派手さだけで押すタイプのデモではなく、「AIが学ぶ現場を見せる」ことに価値を置いたツール だと感じました。
個人的には、こういう地味だけど学びが深いプロジェクトはかなり好きです。
AIに興味がある人はもちろん、強化学習がなんとなく難しそうと思っている人にも、触ってみる価値があると思います。
参考: tinyppo-snake