#quantization

OpenAIが開催した「Parameter Golf」は、かなり変わった縛りのある機械学習コンテストでした。 でも、単なる“お遊び”ではなく、AI研究・コード作成・量子化・モデル設計が、AIエージェントの時代にどう変わるのかをかなり生々しく見せてくれたイベントだったと思います。 1,000人超が参加、提出は2,000件超と大規模だった 目的は、FineWebデータセットの損失を最小化すること ただし条件が厳しく、16MBのアーティファクト制限と8×H100で10分以内の学習が必要だった 参加者の多くがAI coding agentsを使っていた その結果、参加のハードルは下がった一方で、審査やルール判定の難しさも増えた 量子化、テスト時学習、新しいトークナイザ、独自Attentionなど、アイデアの幅がかなり広かった OpenAIはこれを、将来の研究コンテストの試金石と見ている まず前提から。 Parameter Golfは、OpenAIが機械学習コミュニティ向けに実施した制約つきの研究チャレンジです。 や