#rag

Zooxは、Confluence・GitHub・Slack・PDFなどに散らばった情報を、LLMで横断検索できる環境へ移行した その中心にあるのが、安全に使える社内AIプラットフォーム「Cortex」 Cortexは、RAG、multi-modal LLM、agent APIを組み合わせた“社内向けAI基盤” 目的は「ただAIを置くこと」ではなく、開発者の1日の流れ全体を速く、楽にすること 導入を広げるために、AI championやhackathonを活用したのが実践的で面白い 重要なのは、決め打ちの自動化から、状況に応じて動くagentへ発想を切り替えること InfoQの記事「Accelerating LLM-Driven Developer Productivity at Zoox」は、Zooxでの社内開発体験をどうAIで変えたかを紹介する内容です。 話し手は Zoox の Staff Software Engineer、Amit Navindgi さん。彼は、LLMを使って開発者の生産性を上げる取り組みを、実運用ベースで進めてきた人です。 この話、かなり現実的で好感が持てます。

AIエージェントの失敗原因は、モデルそのものより評価の弱さにあることが多い 本番で使うなら、Retrieval / Generation / Agent / Production の4カテゴリで見るのが重要 単純なAccuracyだけでは足りず、hallucination rate や faithfulness を測らないと危ない 手動チェックは少量なら有効だが、大量運用ではすぐ限界が来る この記事のフレームワークは、「出してから直す」ではなく「出す前に壊れ方を見つける」発想が強い Towards Data Scienceの記事は、本番運用するAIエージェントには専用の評価基盤（evaluation harness）が必要だ、というかなり実務寄りの話です。 ここでいうAIエージェントは、ただ文章を返すチャットボットではありません。 RAG（検索してから回答する仕組み）を使ったり、外部ツールを呼んだり、複数ステップでタスクを進めたりする、いわば“仕事をするAI”です。 この手のシステム、デモではそれっぽく動くのに、本番に入れ

OncoAgent は、がん診療の意思決定を支援するための open-source なAIシステム ただのチャットボットではなく、複数の役割を分担する multi-agent 構成になっている 医療ガイドラインをもとに答える RAG（Retrieval-Augmented Generation） を使い、根拠のない回答を減らそうとしている 患者情報を外部クラウドに出さない Zero-PHI policy を重視し、on-premises で動かせる設計 2段階のモデル（Tier 1 / Tier 2）を使い、軽い案件は速く、複雑な案件は深く考える AMD Instinct MI300X と ROCm を使った学習最適化が大きな売りで、約50分で全データの fine-tuning を回せたとされる ただし、これはあくまで 臨床判断の補助 であって、医師の判断を置き換えるものではない この記事で紹介されている OncoAgent は、ひとことで言うと「**がん診療に特化した、かなり本気のAI意思決定支援システム