RAGはお金を食いがち？ コスト制御レイヤーでLLM費用を85%削減する話
RAGは「答えの質」を上げる仕組みだが、「コスト最適化」は基本的に考えられていない その結果、同じ質問を何度も高価なLLMに投げる、不要な文脈を大量に詰め込む、簡単な質問まで高級モデルに回すといったムダが起きやすい 著者はこれに対して、semantic cache / query router / token budget / circuit breaker を組み合わせたコスト制御レイヤーを作成 ローカル環境の検証では、条件付きでLLMコストを最大85.8%削減できたと報告している ただし数字は実API課金ではなく、記事内の前提価格からの計算結果である点は重要 この記事は、RAG（Retrieval-Augmented Generation）を使ったシステムの「見えにくい出費」に切り込んだものです。 RAGは、ざっくり言うと 「質問に答える前に、関連しそうな資料を検索して、その内容をLLMに渡す仕組み」 です。ChatGPTみたいなLLM単体よりも、社内文書やFAQ、製品マニュアルに強くなるので、実務ではかなり便利です。 ただし
papoo.work