#コスト

まず思ったのは、「強いモデルです」と言うだけでは終わらせず、かなり細かく“使うといくらかかるか”まで前面に出しているのが、むしろ誠実だなということでした。AI の話は性能だけが独り歩きしがちですが、実際にはコストと出力量で印象がかなり変わる。そこを隠さずに並べているのは好感が持てます。 ただ、読んでいて少し引っかかったのは、賢さの指標が高いことと、実運用で気持ちよく使えることは別だ、という点がかなりはっきり見えてしまうところです。Intelligence Index が高くても、出力 tokens が多くて verbose だと、ユーザー体験としては「よく考えるけど長い」モデルになりやすい。たぶんこれは、ベンチマークで高得点を取るモデルほど起きやすい不自然さだと思います。点数は分かりやすいけれど、現場では「要点だけ返してほしい」のほうが価値が高い場面も多いはずです。 それと、1M tokens の context window はかなり目を引きました。ざっくり言えば、長い文書や大量の会話履歴を一度に抱えられるということですが、こうなると「何を覚えられるか」より「何を読ま

まず思ったのは、「性能が倍」と聞いても、現場の仕事では案外わからないものなんだな、ということだった。この記事でいちばん面白いのは、Claude Fable 5.1 と Fable 5 を実際の仕事にかけてみて、どちらもきれいに答えは出したのに、体感ではほとんど区別がつかなかった点だと思う。 これ、かなり示唆的だ。AIモデルの改善は、ベンチマーク上では派手に見えても、実務では「同じように賢い」以上の違いとして現れないことがある。しかも今回は、難しいタスクでは新しいモデルのほうがトークン消費、つまり課金量がむしろ大きかったという。速くなった、賢くなった、という広告文句だけでは、実際のコスト感までは見えない。そこがかなり気になる。 もう一つ引っかかったのは、エージェント的な作業、つまりAIに調査や手順の実行をかなり任せる使い方では、「できるかどうか」より「どれだけ無駄なくやるか」のほうが重要になってきていることだ。回答精度が同点なら、次に見るべきは速度でも知性でもなく、結局は料金と再現性になる。この記事はその現実を、かなり冷たく、でも正直に見せているように感じた。 AIの進化って、つい新モデ

この記事を読んでいちばん強く思ったのは、「同じモデルを使っているのに、こんなに差が出るのか」という驚きでした。LLM の話はつい「どのモデルが賢いか」に寄りがちですが、この記事はその手前にある harness、つまりエージェントを包む実行の仕組みが、実はかなり財布に効いてくると突きつけています。 面白いのは、差が単なる誤差ではなく、70倍という桁で出ていることです。ここまで来ると、モデル選びよりも「どう会話させるか」「どこまで確認させるか」「何を毎回与えるか」の方がコストを食っている可能性が高い。しかも coding agent では、その“余計なやり取り”がそのまま token に化ける。人間が見れば丁寧さに見えるものが、機械側では請求書になるわけです。 もうひとつ引っかかったのは、こういう話が思った以上に見えにくいことです。出力の品質だけ見ていると、ハーネスの違いは気づきにくい。でも実際には、同じモデルでも、包み方次第でまるで別物のサービスになる。これは開発者にとってかなり不公平にも見えるし、逆に言えば最適化の余地が大きいとも言えます。モデル性能の比較だけで満足していると、