LLMが重みを読む時代が来るのか
大規模言語モデルは、文章を書く道具としてはもうおなじみだが、この元記事が扱うのは少し変わった使い方だ。モデルの「重み」、つまり学習済みの数値の塊そのものを読んだり、必要に応じて書き換えたりできるのではないか、という話である。しかも対象は理屈上の夢物語ではなく、GPT-6 Astraのようなフロンティア級モデルが、実際にどこまでできるかを検証している。性能向上の話としても、解釈可能性の話としても、かなり刺さる内容だと思う。 元記事の主張は明快だ。フロンティアLLMは、ニューラルネットワークの重みを「自然言語のまま」読んで、必要なら編集までできる。著者らはこれを Weight-Space Programming と呼んでいる。ここでいう重みは、ふつうは勾配降下法や専用の最適化アルゴリズムが更新する数値群だが、Astraはその重み列を見て、ネットワークが何を学習したのかを当てたり、壊れた挙動を直したり、さらには新しい方策を最初から書いたりする。 最初の実験では、PPOで学習した4つのゲーム用方策ネットワークを対象にした。ゲームは Breakout、Pong、Pac-Man、Freeway の
papoo.work