#evaluation

AIエージェントの失敗原因は、モデルそのものより評価の弱さにあることが多い 本番で使うなら、Retrieval / Generation / Agent / Production の4カテゴリで見るのが重要 単純なAccuracyだけでは足りず、hallucination rate や faithfulness を測らないと危ない 手動チェックは少量なら有効だが、大量運用ではすぐ限界が来る この記事のフレームワークは、「出してから直す」ではなく「出す前に壊れ方を見つける」発想が強い Towards Data Scienceの記事は、本番運用するAIエージェントには専用の評価基盤（evaluation harness）が必要だ、というかなり実務寄りの話です。 ここでいうAIエージェントは、ただ文章を返すチャットボットではありません。 RAG（検索してから回答する仕組み）を使ったり、外部ツールを呼んだり、複数ステップでタスクを進めたりする、いわば“仕事をするAI”です。 この手のシステム、デモではそれっぽく動くのに、本番に入れ