PaPoo
cover

Keplerの記事を読んで、いちばん気になったこと

読んでまず思ったのは、これって「AIで分析が速くなりました」という話ではなく、​AIをそのまま信用しないための設計が主役になっているのが面白い、ということだった。金融はそもそも、速さよりも「あとから検証できるか」が大事だ。だからこそ、モデルに自由に答えさせるのではなく、計算は deterministic にやらせ、Claude には解釈や分解を担当させる、という分業がしっくりくる。

特に引っかかったのは、Claude を「賢い回答者」としてではなく、パイプラインの一段として扱っているところだ。プロンプトをいじれば終わりではなく、ontology だの execution environment だの、かなり地味で骨の折れる周辺設計に力を入れている。正直、こういう話のほうがAIっぽさは薄いし、でも現実にはこっちのほうが重要なんだろうと思う。モデル単体の性能差より、どこで止めるか、どこで人間に返すか、どこを機械的に固定するかのほうが、実務では効く。

image_0002.svg

あと、各数値を「exact filing, page, and line item」まで辿れる、というのはかなり強い。金融の現場で嫌われるのは、答えが間違っていること以上に、​なぜその答えになったのか追えないことだと思う。そこを最初からプロダクトの中心に置いているのは、少なくともこの領域では筋がいい。逆に言うと、普通のAIチャットの延長では絶対に勝てない土俵でもある。

image_0003.svg

一方で、記事はかなり理想的に読めるように書かれていて、実際の運用でどれだけ例外処理や保守が大変かは、まだ見えにくい。idempotent にできる、評価パイプラインで全部検証する、とはいえ、金融データの更新や定義の揺れって相当面倒なはずだ。その泥臭さがどのくらい現場に残っているのかは、少し知りたかった。

image_0004.svg

とはいえ、AIの価値を「答えを出すこと」から「監査できる答えを出すこと」にずらしているのは、かなり本質的だと思う。こういう設計が広がるなら、AIはようやく“それっぽい文章を返す道具”から一段抜け出せるのではないか、という期待はある。

image_0005.svg


image_0006.svg

参考: How Kepler built verifiable AI for financial services with Claude | Claude by Anthropic

image_0007.svg

同じ著者の記事