#token課金

最初に思ったのは、「それ、速くなった気がするのはかなり大事だけど、嬉しさの種類はだいぶ限定的だな」ということだった。会話の続きを毎回まるごと送り直さなくてよくなるなら、体感速度は確かに上がるはずだし、長いやり取りをしているときのモッサリ感も減ると思う。けれど、記事がはっきり書いている通り、token の消費量は変わらない。ここが妙にAnthropicらしいというか、ユーザーが欲しい「安くなる」は避けて、「速くなる」だけを切り出しているのが少し生々しい。 面白いのは、この改善がわりと地味な実装の差で効いていそうなところだ。LLMの世界はつい「より賢いモデル」「より長いコンテキスト」に話が行きがちだけれど、実際の使い勝手を左右するのは、こういう周辺の作法だったりする。毎回全文を投げ直すのではなく、message threads で差分っぽく扱う。人間のチャットアプリなら当たり前に感じるけれど、LLM API の使い方だとそこが律儀に無駄になっていた、という見方もできる。 ただ、5分で切れるという条件はかなり気になる。コーヒーを取りに行ったらもう続きが切れていた、という記事の冗談は半分笑い話