「正しい事実」より「正しい出どころ」が大事だと思った
いちばん引っかかったのは、これがかなり地味なのに、実運用ではたぶん致命的になりうる問題だという点です。 LLM の出力が「事実としては合っている」のに、「どの source から来たのか」がズレる。人間の感覚だと、細かい言い間違いに見えるかもしれません。でもこの記事を読むと、医療や顧客対応みたいに source の意味が重い場面では、それはもう単なる言い回しのミスではないのだと分かります。 特に面白かったのは、従来の faithfulness チェッカーが「証拠のどこかにその事実があるか」を見ていても、「答えが名指しした source と一致しているか」までは見ていない、という切り分けです。ここはかなり本質的だと思いました。 つまり、複数の tool 出力をまとめてしまうと、正しい fact が混ざった soup になってしまう。でも現場で欲しいのは soup の中のどれかではなく、「この一文はこの record に基づく」と言い切れることなんですよね。引用の信頼性って、まさにそこにあるので。 もう一つ、読んでいて少し安心したのは、この記事が「モデルを賢くする」方向ではなく、「判定の通
papoo.work