#深層学習

Transformerの学習は、ふつう backpropagation（誤差逆伝播）を前提に組み立てられています。ところが Q Labs Research の新しい論文「Dust」は、その前提をかなり乱暴にひっくり返そうとしています。重みを直接いじるのではなく、各トークンの activation にノイズを入れて、損失がどれだけ下がったかで学習信号を作る。しかもそれを「1回の forward pass で大量の仮想個体を評価する」形にして、Transformer の pretraining にまで持ち込んだのが面白いところです。単なる変わり種ではなく、著者らは backprop と競争できる、とかなり強い主張をしています。 論文の中心は、Dust という zeroth-order optimization の方法です。zeroth-order は、微分を直接使わず、試行錯誤から更新方向を推定するやり方だと思えば近いです。Dust では、Transformer の各 linear layer の出力に Gaussian noise を加え、その token に対する loss の変化を報

大規模言語モデルの世界は、ここ数年ずっと「でかいモデルが強い」の一強でした。GPT-4のような商用LLMは性能が抜群ですが、中身は見えません。APIの向こう側にいて、内部状態や学習の細部には触れられない。研究する側からすると、これはかなりもどかしい。 この論文 `Knowledge Distillation of Black-Box Large Language Models` は、その厄介な壁をどう越えるかを真正面から扱っています。しかもアイデアがわりと気持ちいい。黒箱LLMの出力を、そのまま小型モデルに押し込もうとするのではなく、proxy model という“仲介役”を挟むのです。 知識蒸留（knowledge distillation, KD）は、強いモデルの知識を小さいモデルへ移すやり方です。たとえば大きな先生モデルが出した答えを手本にして、軽い生徒モデルを育てるイメージです。 ただ、普通の蒸留は先生の内部情報も使えることが多い。どの単語にどれくらい自信があるか、途中でどう考えているか、といった情報ですね。ところが黒箱LLMはそこが見えない。返ってくるのは最終出力だけ

画像の一部を自然に埋める「image inpainting」は、地味に見えて実はかなり難しいタスクです。消したい物体の跡を消すだけでなく、周囲の文脈を読んで「そこに本来何があったか」をそれっぽく再現しないといけないからです。木の枝、壁の模様、人の顔。どれも適当に塗れば終わりではありません。 そんな中で登場したのが Moebius です。名前は数学っぽいですが、中身はかなり実務寄り。ポイントは、0.22B（2億2600万）パラメータという小ささで、11.9B級の巨大モデルに迫る、あるいは一部で上回ることを狙っている点です。論文の主張どおりなら、これはかなり痛快です。大きければ勝ち、という空気に「ほんとにそれだけ？」と突っ込んでくるモデルだからです。 Moebiusは、画像の欠けた部分を自然に補う image inpainting 専用の軽量モデル パラメータ数は 0.22B で、比較対象の FLUX.1-Fill-Dev（11.9B） の 2%未満 1ステップあたりの推論時間は 26.01ms とされ、全体で15倍超の高速化