PaPoo
cover

Files APIは便利でも、財布にはやさしくなかった

読み終えてまず思ったのは、「やっぱりこういう話は、体験してみないと分からないな」ということだった。APIでファイルを渡せるようになると、つい“無駄が減りそう”と期待してしまう。でもこの記事では、その期待がかなりきれいに外れている。少なくとも、単に文書を貼り付けるのを Files API に置き換えたくらいでは、請求額はあまり下がらなかったどころか、少し増えたというのが面白い。

ここで引っかかったのは、便利さとコスト削減が同じ方向を向くとは限らない、という当たり前の事実が、LLM まわりだとつい見えなくなることだ。Files API はたしかに手間を減らす。毎回同じ文書を貼り付ける面倒は消えるし、アプリ側の実装もすっきりするはずだ。でも、モデルにとっては「ファイルとして渡された」こと自体が無料券ではない。結局のところ、その中身を読むならトークンは使う。むしろ、処理のしかたによっては貼り付けより少し高くつくこともある、というのはかなり現実的だと思う。

それでも最後に prompt caching を足したら節約できた、という流れには納得した。ここでようやく“同じものを何度も読ませる”という重複が効いてくる。要するに、ファイルを置ける機能そのものより、繰り返し参照する前提をどう設計するかのほうが大事だった、ということだろう。LLM のコスト最適化って、派手な新機能より、地味な使い方の工夫で決まる場面が多い。この記事はそこを、数字を使ってちゃんと釘打ちしていて好感が持てた。


参考: Anthropicの新しい Files API vs. 貼り付け: 時間は節約できるが、お金は節約できない

同じ著者の記事