この記事を読んでまず思ったのは、モデルに「いつまで知っているか」を聞くだけで、ずいぶん深いところまで覗けるものだな、という驚きだった。知識の古さを当てるだけなら地味にも見えるけれど、著者はそこから training run の境目や、どの世代のチャットが混ざっていそうかまで読もうとしている。こういう発想はかなり好きだ。モデルをブラックボックスとして眺めるのではなく、返答の癖を手がかりにして、逆向きに訓練過程を推理していく感じがある。
特に面白かったのは、単純な「知っている／知らない」ではなく、日付の自認や「自分は誰か」という自己申告まで材料にしているところだ。大規模言語モデルは、実際の知識だけでなく、訓練データに何度出てきたかにも引っ張られる。だから「今日は何日？」と聞いたときに、実際の知識とずれるだけでなく、古い時代にいるつもりで答えることがある。そこに、過去の ChatGPT や Claude の会話が混ざっていそうだ、という読みを重ねるのはかなり筋が通っていると思う。
ただ、読んでいて少し引っかかったのは、ここで出てくる推定がどこまで本当に訓練データの時期を表しているのか、やっぱり完全には分からないことだ。著者自身もそこはかなり慎重で、あくまで estimate だと何度も断っている。そこが誠実だと思う一方で、逆に言えば、こういう分析は面白いけれど、外から見えるのは訓練の断片にすぎない。モデルが「知っている」ように見えることと、実際にどんな配合で学習したかは、きれいには一致しないのだろう。
それでも、こうした probe で「古い GPT-4 系の話し方が残っている」「別会社のモデル名を名乗る癖がある」といった痕跡が見えるのは、ちょっと生々しい。生成AIって、完成品のように見えて、実際には過去の会話や派生モデルの影がかなり残っているんだな、と改めて思った。きれいに整った知能というより、訓練履歴の堆積物みたいなものだ、と言うほうが近いのかもしれない。
