AIの能力が伸びたとき、その裏で何が効いたのかを追うのは面白い。Mithil Vakdeの新しい投稿は、ARC-AGI-1という難問ベンチマークで、小さなTransformerをゼロから学習させて44%を出した話だ。しかも計算コストは67セントだという。数字だけ見ると派手だが、中身はかなり実験臭い。だからこそ、単なる「高得点報告」ではなく、どこをいじると効くのか、何を削ると落ちるのかまで見ておく価値がある。
本人の説明では、これはARC-AGIに関する3本目のブログで、前回より速く、安く、それでいてオープンソースのまま性能を上げたアップデート版だという。使ったのは小さなTransformerで、5090上で1.5時間学習させた。ARC-AGI-1のpublic evalで44%、ARC-2では7%を出したと書いている。比較対象は、test time trainingを行う系統のモデルに絞っている。
手法の骨格はシンプルだ。各input-output pairをトークン列に変換し、その列をTransformerで自己回帰的に学習する。学習はtest timeに行い、train setだけでなくeval setのpuzzleも使う。ただしevalのtest label、つまり正解出力は見ない。複数のパズルをまたいで学べるように、各パズルに別々のadditive embeddingを持たせ、2次元グリッドの位置情報には3D RoPEを使う。色やdihedral変換によるaugmentationも入れ、推論時には入力を増やして出力を戻し、そのうえで最頻出の2つを提出する方式だ。
前回からの変更で大きかったのは、SwiGlu、RMSNorm、層数を4から8へ増加、より良いshuffle、そしてNorMuonの採用だという。逆にコストを下げたのは、augmentationをかなり減らしたこと、AdamWからの変更、flash attentionのvarlen trainingや推論時のflex attention kernelsだ。さらに大きな仕様変更として、今回は入力トークンを学習しなくなった。損失は出力トークンだけにかかるので、より supervised な形になる。本人はこれで40%から44%に少し上がったが、理由は完全には分からないとしている。
データ面ではARC-2のうち重複しないタスクを追加した。ARC-2にはARC-1の773問と新しい347問があり、雑に混ぜるとデータリークになる。そこで重複分を除き、漏れが起きないように慎重にフィルタしたという。これを外しても40%前後は出るが、その場合は計算量がほぼ2倍必要になるらしい。
面白いのは、test lossが悪化してもスコアは上がる、という観察だ。しかもスコアのばらつきは減ったという。さらにアブレーションでは、3D RoPEとper-task embeddingがかなり効いていて、どちらかを外すと25%付近まで落ちる。1D RoPEに変えると24%、per-task embeddingを消しても24%程度。逆に、training on inputsをやめた変更は少しだけ有利で、ARC-1とConceptARCだけに絞ってもほぼ同じ40%前後だった。本人は、まだTransformerの枠内で65%まで届く余地がある、とかなり強気に見ている。
まず印象に残るのは、性能の源泉が「巨大化」ではなく、表現の作り方にかなり寄っていることだ。3D RoPEとper-task embeddingが効いているという結果は、ARCのような問題では、素朴なTransformerでも座標系とタスク境界をうまく渡せれば戦える、という示唆に見える。逆に言えば、ここで伸びているのは一般的な言語能力というより、グリッド構造への帰着がうまくいった結果だと思う。ベンチマークに対して正しくハマる表現を見つけると、モデル規模の印象以上に点が動く。これはかなり重要だ。
ただし、67セントという見せ方は、かなり強いメッセージングでもある。lifetime computeを含めたと本人は書いているが、こうした額面は計測条件に敏感だ。どこまでを「学習コスト」に入れるのか、augmentationや探索の試行回数をどう数えるのかで、印象は大きく変わる。だから、私はこの数字を「安いことの証明」よりも、「少額でここまで実験できる環境がある」という事実として受け取りたい。研究の再現性や参入障壁の低さという意味では価値があるが、広告的に読むと少し危うい。
それから、test lossが悪くなってもスコアが上がる話はかなり示唆的だ。小規模データでlossを詰めることが、そのまま推論性能に結びつかない場面がある、というのはよくあるが、ARCのようなタスクでそれが目に見えて出るのは興味深い。人間の直感だと「学習が進むほど良い」と思いがちだが、実際には、どの損失を最適化しているかがずれると、ベンチマークの点は逆に落ちることがある。sample efficiencyを追う研究では、val lossの最小化だけを見ていると見落とすものがある、という本人の指摘はわりと筋が通っていると思う。
一方で、ARC-AGIそのものの位置づけには、少し距離を置いて見る必要がある。この記事では、train/evalの入力を使うことはtransductive reasoningだと正当化されているし、test labelを見ていない以上「training on test」ではないと説明される。理屈は分かる。ただ、ベンチマークの価値は「どのルールを許すか」の設計でかなり変わる。入力側を使う手法が広がるほど、評価は“汎化能力”より“問題設定との相性”を測る色が濃くなる。つまり、この44%は単純な知能の証明ではなく、評価ルールの中での最適化の成果だと思ったほうがいい。
それでも、私はこの投稿を悲観的には見ていない。むしろ、ARCのような難問に対して、巨大LLMではなく、地道に表現・最適化・計算効率を詰めるルートがまだ残っていることを示した点が面白い。研究者が「もう手はない」と思う前に、3D RoPEやタスク埋め込み、学習の向きの切り替えでここまで変わる。もちろん65%という予測は強気だし、そこまで一直線には進まないだろう。けれど、少なくともこの投稿は、AI研究の進歩が必ずしも規模依存ではないことを、かなり具体的な形で突きつけている。
