いちばん強く思ったのは、「賢いのはわかった、でもこれをどう使うのかはかなり人を選びそうだ」ということだった。
Intelligence Index で上位なのに、時間もコストもかなり重い。しかも出力がやたら長い。数値を並べると派手だけれど、実運用の気持ちで見ると、かなり“扱いづらい高性能機”に見える。
特に気になったのは、47分台ではなく 48分 というタスク時間の長さよりも、275M tokens を吐くほど verbose だと書かれている点だ。長く考えて長く喋るモデルは、ベンチマークでは強そうに見える一方で、実際には読む側の手間も増える。仕事で使うなら、単に正答率が高いだけでは足りなくて、どこで止めるか、どこを短くさせるかまで設計したくなるはずだと思う。
もう一つ面白かったのは、こういうページが「モデルの頭の良さ」だけでなく、「値段」「速度」「出力の癖」を同じ重さで並べていることだった。AIモデルの評価って、つい精度の高さだけに目が行きがちだけれど、実務では遅さも無駄な長さも普通にコストになる。
このモデルは“能力は高いが、財布と忍耐力に厳しい”という印象で、しかもその厳しさが数字でかなり露骨に出ている。そこがむしろ正直で、好感もある。
一方で、1M context window はかなり夢がある。長い文書や複数資料をまとめて扱う場面では、こういう巨大な context はやはり魅力的だと思う。ただ、ページの印象だけで言えば、その大きな器を生かすには、使い方の側にも相当な工夫が要りそうだ。大容量だから便利、ではなく、大容量だからこそノイズも混ざる。そんな感じがした。
参考: Claude Fable 5.2 (max) - Intelligence, Performance & Price Analysis | Artificial Analysis
