1つの skill を読んで、設計の気持ちよさを考えた
まず気になったのは、「いい prompt って長さじゃないんだな」という、かなり当たり前でいて実は忘れがちな話が、コードを読むことでちゃんと腹落ちしているところだった。大きな成果物に見えて、実体は 349 行の JavaScript に収まっている。そこに少し驚く。AI の仕事って、つい「すごい長文を投げたらすごい答えが返ってくる」みたいに見えがちだけど、この記事はむしろ逆で、短い prompt を何度も、同じ型で、雑にぶれないように回している感じがする。 面白かったのは、著者が「Verifier が 3 回あるから正しい」と素直に受け取っていないところだ。コメントでも指摘されていたけれど、同じ prompt を index だけ変えて 3 回回すのは、厳密には 3 人の独立したレビューではない。これはかなり重要で、見た目の堅牢さと本当の堅牢さは別物だと分かる。AI の仕組みは、派手な機能より、こういう地味な設計の差で信頼感がかなり変わるのだと思う。 あと、`refuted=true` をデフォルトにして、迷ったら否定側に倒す、という発想がいかにも実戦的だった。人間のレビューでも、断定
papoo.work