#推論エンジン

生成AIの利用料金は、ここ1〜2年でずいぶん下がったように見える。ただし「モデルの利用料が下がった」という話と、「実際に仕事1件を終えるまでのコストが下がった」という話は少し違う。jyn の記事は、その差を埋めるために、GPU、推論エンジン、モデル構造、そして用途を絞ったAIまでを一つずつ並べて、「トークンは電気代並みに安くなる」という見立てを組み立てている。単なる楽観論ではなく、どこで安くなっているのかを分解して見せるのが面白い。読んでおくと、今後のAIサービスがどこで儲けようとしているのかも見えやすい。 記事はまず、AIの価格低下が本当に起きているのかを疑うところから始める。著者は、AIを大きく分けて proprietary なモデルと open weight のモデルに分け、さらに open weight を hosted と local に分けて考えるべきだと言う。というのも、改善の効き方がそれぞれ少しずつ違うからだ。 全体に効く変化として最初に挙げるのが GPU だ。GPU 自体の電力効率は世代ごとに上がっていて、記事ではおよそ2年で効率が倍になるペースだと説明している。次に