オープンモデルの出力が、別のモデルの「考え方」にどれだけ引っ張られるのかを確かめた短い実験が出てきた。題材は一見地味だが、モデル同士の学習のつながりを探るうえではかなり示唆がある。しかも今回は、教師役に GPT-5.5 Pro を使い、以前の実験と比べてどのモデルがどちら方向に寄るのかを見直している。単なるベンチマークではなく、「どのモデルが誰の影響を受けたのか」を探る話として読むと面白い。
元記事は、reasoning-prefill-1-1.md という Gist に置かれた実験メモだ。タイトルにある “Reasoning prefills on a few open models, v1.1” の通り、いくつかのオープンモデルに対して「推論の書き出し部分を先に与える」と、回答の見え方がどう変わるかを調べている。ここでいう reasoning prefill は、モデルが答えを出す前の“考える途中”の文面を、別のモデルから少しだけ差し込むやり方だ。今回はその教師を GPT-5.5 Pro に変えて、前回の実験をもう一度回した。
実験の手順はこうだ。各問題について、対象モデルには2通りの応答を生成させる。ひとつは何も前置きしない通常版、もうひとつは GPT-5.5 Pro の推論の最初の1%を reasoning channel に入れた版だ。見える最終回答の本文は、対象モデルが自由に作る。そのあとで、GPT-5.5 Pro の可視回答が対象モデルの最初の100トークンにどれだけ現れるかを測る。評価は unigram、bigram、trigram の source recall の平均で、差分は percentage point で示している。
テストは45問で、内訳は STEM 15問、non-STEM 15問、synthetic puzzle 15問。全体の結果を見ると、DeepSeek V4 Flash は unprefilled 27.30% に対して prefill 後 26.13% で、むしろ 1.17ポイント下がった。Inkling は 19.99% から 20.45% へほぼ横ばいで、+0.46ポイント。Kimi K3 は 31.11% から 35.65% に上がり、+4.54ポイント。大きく変わったのは Qwen3.8 A95B で、16.79% から 34.97% へ跳ね上がり、+18.18ポイントだった。
カテゴリ別に Qwen だけを見ると、変化の大きさがさらにはっきりする。STEM では 19.26% から 46.24% へ +26.99ポイント、non-STEM では 20.62% から 33.42% へ +12.80ポイント、puzzle では 10.49% から 25.23% へ +14.75ポイント。どの種類の問題でも上がっているが、特に STEM での伸びが目立つ。元記事は、この結果を踏まえて、Qwen は前回のように Opus 4.8 へほとんど動かなかったのに、今回は GPT-5.5 Pro にかなり寄った、と述べている。そのうえで、Qwen は GPT-5.5 Pro か、それに近い別の GPT 系モデルから学習した可能性があるのではないか、と示唆している。Kimi K3 は GPT-5.5 Pro との重なりが最初から高く、prefill を入れても 31.11% から 35.65% への +4.54ポイントにとどまった、というのも今回の比較の核だ。
私がまず引っかかるのは、Qwen3.8 A95B の動きの大きさだ。prefill を少し足しただけで、全体の recall が 16.79% から 34.97% に伸びている。しかも STEM では 46.24% まで上がる。これは、単に「文体が似た」程度の話ではないと思う。少なくとも、このモデルは GPT-5.5 Pro の推論の流れにかなり敏感に反応している。もし元から学習データや蒸留の経路のどこかで GPT 系の影響を受けていたのなら、少量の prefill が“呼び水”になって、似た展開を出しやすくなった可能性はある。逆に言えば、表面上は別系列に見えるモデルでも、内部では想像以上に近い学習源を共有しているかもしれない。
ただし、ここは強く言い切りすぎないほうがいい。元記事の指標はあくまで、先頭100トークンに教師の可視回答がどれだけ現れたか、という近さの測定だ。学習の出自を直接証明しているわけではない。似た結論を出しやすい設計や、問題の解き方の癖が重なっただけでも recall は上がる。だから「Qwen は GPT-5.5 Pro を見て学習した」と断定するのは早い。ただ、少なくとも “Opus 4.8 にはあまり寄らないのに GPT-5.5 Pro には寄る” という差は、偶然で片づけにくい。モデル間の距離感を測る実験としては、かなりおもしろい差が出ている。
Kimi K3 は今回、ベースラインの時点で 31.11% と最も高く、prefill 後も 35.65% だった。増分は +4.54ポイントで、Qwen ほど劇的ではない。ここには2つの見方があると思う。ひとつは、Kimi K3 はもともと GPT-5.5 Pro に近い振る舞いをしていたので、少し前置きを足してもあまり変わらなかった、という見方だ。もうひとつは、すでに高い類似度があるため、追加の手がかりでは伸びしろが小さかった、という見方である。
私は後者のほうが自然だと思う。特にこうした実験では、ベースラインが高いモデルほど上振れしにくい。もともと似た語彙、似た論理展開、似た答え方をしていれば、教師の一部を差し込んでも「もう十分近い」ので変化が小さい。逆にベースラインが低いモデルは、少しのヒントで別の軌道に入る。だから Kimi K3 の数字は地味に見えて、実は重要だ。GPT-5.5 Pro に似た応答パターンをすでに持っている可能性を示しているからだ。
この点は、モデル比較を「どちらが賢いか」の一本勝負にしないほうがよいことも教えている。実際には、どのモデルがどの系列の書き方を継いでいるか、どの問題で似やすいか、どの段階で似方が増幅するかのほうが興味深い。Kimi K3 はその典型で、あからさまに跳ねないぶん、むしろ内部の近さを感じさせる。
この種の結果を読むとき、つい「どのモデルが強いか」の話に引き寄せたくなる。でも元記事の面白さはそこではない。むしろ、モデルがどんな系列で育ってきたか、どの教師に引っ張られやすいかを、出力の癖から逆算しようとしている点にある。これは、オープンモデルの評価としてかなり大事だと思う。単発のスコアだけでは、学習データの出どころや蒸留の影響は見えない。ところが、別モデルの reasoning を少し見せた瞬間に挙動が変わるなら、その変化は「似ている」以上の何かを示している可能性がある。
同時に、今回の方法には限界もある。first 1% の reasoning を入れるというやり方は、かなり人工的だ。現実の利用環境では、他モデルの推論の断片をそんな形で注入することはまずない。だから、ここから実用性能を直接引くのは危うい。けれど、研究としては筋がいい。モデルの“反応性”を観察できるからだ。どのモデルが、どの教師に触れたときに一気に似るのか。その地図が描ければ、今後の比較はかなりやりやすくなるはずだ。
私の見方では、今回の実験は「Qwen が GPT-5.5 Pro 由来の何かを持っているかもしれない」という示唆を強くする一方で、断定までは踏み込んでいない。その距離感がちょうどいい。研究ノートとして誠実だし、数字もそれに見合っている。派手な結論より、モデル同士の関係が少し透けて見える瞬間のほうが、実は後から効いてくる。
