OpenAIが開催した「Parameter Golf」は、かなり変わった縛りのある機械学習コンテストでした。
でも、単なる“お遊び”ではなく、AI研究・コード作成・量子化・モデル設計が、AIエージェントの時代にどう変わるのかをかなり生々しく見せてくれたイベントだったと思います。
まず前提から。
Parameter Golfは、OpenAIが機械学習コミュニティ向けに実施した制約つきの研究チャレンジです。
やることはシンプルで、固定されたFineWebデータセットに対して、held-out lossをできるだけ小さくすること。
held-out lossというのは、ざっくり言えば「見せていないテスト用データに対して、どれだけうまく予測できるか」を表す指標です。小さいほどよいです。
ただし、普通の研究コンペと違うのは制約の強さです。
つまり、「巨大モデルを力技で回す」のではなく、限られた予算の中で、どこまで工夫できるかが勝負でした。
この手の制約は、研究者の腕前がかなり素直に出るので面白いです。私はこういう“狭い檻の中での創意工夫”は、実力がはっきり見えて好きです。
OpenAIは8週間で、1,000人超から2,000件超の提出を受け取ったそうです。
この数字だけでもかなりの熱量ですが、さらに面白いのは、提出内容の幅です。
単なるハイパーパラメータ調整だけでなく、
など、かなり多彩なアプローチが出てきました。
ここでいうquantizationは、モデルの数値表現を圧縮して軽量化する技術です。
たとえば「重いけど高精度な表現」を「少し粗いけど軽い表現」に置き換える感じで、メモリ制限が厳しい今回のコンテストではかなり重要です。
このイベントで特に印象的だったのは、AI coding agentsの普及です。
OpenAIによると、ほとんどの参加者がエージェントを使っていたとのこと。
これが何を変えたかというと、まず試行錯誤のコストが大きく下がったことです。
これはかなり大きいです。
以前なら「面白そうだけど、1日かかりそうだからやめよう」で終わっていた案が、エージェントのおかげで試せる。こうなると、コンペの空気が一気に変わります。
一方で、良いことばかりではありません。
OpenAIは、審査、帰属、スコアリングに新しい問題が出たと書いています。
たとえば、
こうした問題に対応するため、OpenAIは内部でCodexベースのtriage botを作ったそうです。
要するに、提出物をまず自動で仕分けして、怪しいものや重要そうなものを人間が見る仕組みです。
これはかなり象徴的だと思います。
AIコンペをAIでさばく時代に入っている、ということなのでしょう。
OpenAIは、record trackの提出を自分たちで再現し、提出時点で本当に最高記録だったものを確認したそうです。
その中でも、いくつかのテーマが目立ちました。
最強クラスの結果の一部は、派手な新発明ではなく、既存コンポーネントの精密な調整から生まれました。
たとえば #60 の提出は、過去の複数の勝ち筋をうまく組み合わせ、さらに
などを組み合わせて強い結果を出したそうです。
ここで面白いのは、「新しい発想」だけが強いわけではないことです。
むしろ、勝ち筋を見抜いて、無理なく組み合わせる力が強い。研究でもコンペでも、結局こういう地道さが強いのだと思います。
量子化系では、#414 が GPTQ-lite を使って学習後に重みを圧縮し、最初の成功例になりました。
さらに #1060 は、以前の成果を土台にして full Hessian GPTQ まで進めています。
ざっくり言うと、モデルを小さく保ちながら精度をできるだけ落とさない工夫です。
制限が16MBしかないので、この分野はかなり効いたはずです。
#77 は、score-first, per-document LoRA test-time training という手法を使いました。
LoRAは、モデル本体を全部いじらず、追加の小さい層だけを学習するやり方です。
test-time training は、推論時にちょっとだけ追加学習する方法だと考えるとわかりやすいです。
この提出は、ルール上は認められる範囲でありながら、評価と改善の境界線をかなり攻めたものだったようです。
こういう「どこまでが研究で、どこからが評価戦略なのか」を考えさせるのは、コンテストとしてかなり面白いです。
特に目を引くのは、まったく新しいアイデアです。
たとえば CaseOps tokenizer は、大文字小文字の情報を失わないトークナイザの工夫です。
普通の tokenizer は文字列を分割する過程で細かい情報を落としがちですが、ここではその損失を減らそうとしています。
XSA は、効率的な部分的 Exclusive Self Attention と説明されています。
Self Attention は、Transformerの中心技術で、単語同士の関係を見ます。
その変種を工夫して、より効率よく扱おうという発想です。
SmearGate と BigramHash は、前のトークンの情報を混ぜる学習機構や、隣り合うトークン対のハッシュ特徴を導入したもの。
こういうアイデアは一見地味ですが、実際にはかなり効くことがあります。
mini depth recurrence は、一部の層を繰り返し使う再帰的な設計です。
しかも途中から導入し、部分的に重みを独立させるなど、かなり細かい調整が入っています。
私はこういう「理論だけではなく、実験で詰めた感じ」がある手法はとても好きです。
nonrecord trackは、記録更新だけを狙う場ではなく、実験的で面白い案を歓迎する枠でした。
OpenAIは15件のお気に入りを挙げています。
このトラックでは、性能だけでなく、技術的に面白いかどうかが重視されました。
特に印象的だったのは次の3件です。
ここで出てくる state-space model は、系列データを扱う別系統のモデル設計です。
JEPA は、ざっくり言えば「予測対象そのものを直接再現するのではなく、表現を学ぶ」タイプの考え方です。
Byte-Level H-Net は、文字よりもさらに細かい byte 単位で処理する方向の工夫だと見てよいでしょう。
OpenAIによると、nonrecord trackでは半分の提出がナイーブなベースラインの1.22 BPBを上回り、トップは1.12 BPBに達したとのことです。
BPBは bits per byte のような単位で、簡単に言うと1バイトあたりの圧縮・予測のうまさを測る指標です。低いほど良いです。
この結果はかなり興味深いです。
Transformerが強いのは事実ですが、代替案がちゃんと戦えている。
「結局Transformerしか勝たん」ではなく、条件次第では別ルートも十分可能だと示したのは、かなり価値があると思います。
OpenAIのまとめで一番重要なのは、やはりAI coding agentsが研究のやり方を変えているという点です。
今回のコンテストでは、エージェントが
という、かなり両義的な役割を果たしました。
私はこれを、かなり率直に言って「研究の民主化」と「運営の複雑化」が同時に起きた事件だと思います。
誰でもより遠くまで行けるようになる一方で、主催者はその交通量をさばく必要がある。なかなか大変です。
もうひとつ重要なのは、オープンな技術コンテストが人材発掘の場になることです。
OpenAIは、Parameter Golfが「優れた machine learning taste と粘り強さ」を見つけるシグナルになったと言っています。
これはかなり納得感があります。
論文のタイトルや肩書きよりも、制約のある環境でどう工夫するかに、その人の本当の力が出やすいからです。
OpenAIは、今後もこうしたチャレンジをやることを検討しているそうです。
参加したい人向けのフォームも案内されています。
個人的には、これはかなり良い流れではないかと思います。
なぜなら、こういうイベントは単に順位を競うだけでなく、
という、研究コミュニティ全体への波及効果が大きいからです。
もちろん、今後は不正対策、レビューの自動化、ルール設計がさらに重要になるはずです。
でも、その面倒さ込みで、すでに「AI時代の研究イベント」の雛形が見え始めている感じがあります。
