#arc

AIの能力が伸びたとき、その裏で何が効いたのかを追うのは面白い。Mithil Vakdeの新しい投稿は、ARC-AGI-1という難問ベンチマークで、小さなTransformerをゼロから学習させて44%を出した話だ。しかも計算コストは67セントだという。数字だけ見ると派手だが、中身はかなり実験臭い。だからこそ、単なる「高得点報告」ではなく、どこをいじると効くのか、何を削ると落ちるのかまで見ておく価値がある。 本人の説明では、これはARC-AGIに関する3本目のブログで、前回より速く、安く、それでいてオープンソースのまま性能を上げたアップデート版だという。使ったのは小さなTransformerで、5090上で1.5時間学習させた。ARC-AGI-1のpublic evalで44%、ARC-2では7%を出したと書いている。比較対象は、test time trainingを行う系統のモデルに絞っている。 手法の骨格はシンプルだ。各input-output pairをトークン列に変換し、その列をTransformerで自己回帰的に学習する。学習はtest timeに行い、train setだけ