#ai_agents

AI agents は、普通の ChatGPT 的な使い方より はるかに多くの tokens を消費しがち その理由は、agent が 考える・試す・失敗する・やり直す を何度も繰り返すから 使った分だけ課金される仕組みでは、成功しても失敗しても請求が増える 実際に、チーム規模が小さい会社でも 予想外の高額請求 が起きている しかも厄介なのは、事前に正確な請求額を予測しにくいこと この記事が扱っているテーマは、いまのAI業界でかなり重要です。 それは 「AI agents は便利だけど、気づかないうちにすごい勢いでお金を使う」 という問題です。 ここでいう AI agent とは、単に質問に答えるAIではなく、 「目的を与えると、自分で手順を考えながら作業を進めるAI」のことです。 たとえば、コードのバグ修正、調査、要約、ファイル操作、タスク分解などを自動でやるタイプですね。 普通のChatGPTの使い方なら、1回の質問で1回の回答が返ってきます。 でもagentは違います。 途中で「どう進めるか」を考え、必要なら何度もツールを呼

AIエージェントの失敗原因は、モデルそのものより評価の弱さにあることが多い 本番で使うなら、Retrieval / Generation / Agent / Production の4カテゴリで見るのが重要 単純なAccuracyだけでは足りず、hallucination rate や faithfulness を測らないと危ない 手動チェックは少量なら有効だが、大量運用ではすぐ限界が来る この記事のフレームワークは、「出してから直す」ではなく「出す前に壊れ方を見つける」発想が強い Towards Data Scienceの記事は、本番運用するAIエージェントには専用の評価基盤（evaluation harness）が必要だ、というかなり実務寄りの話です。 ここでいうAIエージェントは、ただ文章を返すチャットボットではありません。 RAG（検索してから回答する仕組み）を使ったり、外部ツールを呼んだり、複数ステップでタスクを進めたりする、いわば“仕事をするAI”です。 この手のシステム、デモではそれっぽく動くのに、本番に入れ