PaPoo
cover

Claude Codeは「強い言い方」に弱いのか、という違和感

この記事を読んでまず面白いと思ったのは、説明文をちょっと押しの強い文にしただけでは大きくは変わらず、別の仕掛けを入れた途端に数字が跳ねたことです。人間なら「この場面ではこの機能を使うべきだ」と空気で分かるのに、Claude Code はそこをかなり取りこぼす。その一方で、セッション開始時に「まず skill を見ろ」と促すと一気に動く。ここには、プロンプトの文言調整より、実行の導線そのものを変えるほうが効く、というかなり現実的な示唆があると思いました。

特に引っかかったのは、near-miss の扱いです。skill の語彙に触れていても、必要条件を満たしていなければ一切 fire しない。これは一見すると堅い判定に見えるけれど、実際には「気づいてほしい場面で気づかない」ことの裏返しでもあります。LLM の振る舞いを改善するとき、単に説明を勇ましく書き換えるだけでは足りず、最初に何を見に行くかという探索順まで設計しないといけないのだろうと思いました。

それにしても、こういう検証をちゃんと replay 可能な形で回しているのは気持ちがいいです。感覚論になりやすい「この表現は効くのか」を、モデル別・prompt 別・失敗例込みで地道に見ている。派手な結論というより、ツールを使う側がどこまで面倒を見ないといけないかが、そのまま数字に出た記事でした。


参考: Pushy Skill Descriptions Moved Claude Code From 15% to 20%. A Hook Hit 62%

同じ著者の記事