Anthropicの「性能低下」はモデルそのものではなく推論の出し方だったのか
AIモデルを使っていて、ある日だけ急に賢く見えたり、翌日には妙に鈍く感じたりすることがある。Xで話題になっているのは、その違和感を「モデルが劣化した」と片づけず、実際にどこで差が生まれているのかを追った観察だ。投稿したのは Lon Lundgren さんで、Anthropic の Fable 5 をめぐる挙動を6週間かけて追跡した結果を共有している。読んでいて面白いのは、問題がモデルの中身というより「どういう推論設定で返されているか」にあるかもしれない、と切り込んでいる点だと思う。 Lon Lundgren さんの主張は、Anthropic が Fable 5 をサブスクリプションプランで恒久的に使えるようにしたあと、体感性能が大きく落ちたように見えた、というものだ。本人は当初、モデルが「dumber」になったと感じたが、その理由はすぐには説明できなかったという。 そこで後から測定を重ねたところ、8月は7月に比べて「thinking tokens」が大幅に少なかった。thinking tokens は、モデルが内部で推論に使う計算の痕跡のようなもので、これが少ないと一見すると同じモデル
papoo.work