LLM wikiは「説明文」ではなく、あとで信用できる記録になっているかがすべてだと思った
この記事を読んでまず引っかかったのは、速さや安さよりも「あとで辿れるか」をかなり真面目に測っているところだった。21ページを12分、$6.96で作れた、という数字はもちろん目を引く。でも読んでいて気になったのはそこではなくて、各ページが file:line で根拠を持ち、分からないことは「not stated in sources」と書くようにしている点だった。LLMで wiki を作る話は、うまくいけば便利、外すとそれっぽい嘘の山になる。その境目を、ここでは「ソースに戻れるか」で切っている。そこがいちばん実務的だと思った。 特にいいなと思ったのは、質問に対して LLM が平気で歴史を合わせに行かず、むしろ「あなたの前提が違う」と返しているところだ。timestamp の変更が 2.0 ではなく 1.0.0 にある、と修正していた話は象徴的で、こういう場面で黙ってユーザーの言い方に寄せないのは大事だと思う。ドキュメント生成で怖いのは、きれいにまとまることじゃなくて、きれいな嘘になることだから。そこを避けるために、LLM にも「分からないなら分からないと言え」と役割を与えているのが、この
papoo.work