#テスト設計

この記事でいちばん気になったのは、「AIを入れるかどうか」より先に、「どうやって壊れにくくするか」を真面目に考えているところだった。生成AIまわりの話は、ついデモの派手さに寄りがちだけれど、ここではQA engineeringの発想でSDLC（ソフトウェア開発ライフサイクル）全体を組み直そうとしている。そこがかなり好ましいと思った。 特に引っかかったのは、requirements をいきなり仕様として固定するのではなく、design の直後に specification enrichment という段階を挟む話だ。要するに、雑な要件をそのまま次へ流さず、テストしやすい形に整える。これ、地味だけれど効く発想だと思う。AIは曖昧な指示にもそれっぽく応答してしまうので、あいまいさを前段で減らすのはかなり理にかなっている。人間のQAが「ここ、言葉が足りないです」と詰めるあの仕事を、工程として埋め込もうとしているわけで、AI時代だからこそ昔ながらの地味な仕事が重要になるのだと感じた。 もう一つ面白かったのは、LLM-as-a-judge を複数使って Cohen’s kappa で評価するという

いちばん引っかかったのは、ここで語られている「prompting」が、もはや文章の書き方というより、作業の進め方そのものになっていることだった。単に「こう書けば通る」という話ではなく、最初に相談して、曖昧さを潰して、どう検証するかまで渡して、最後はHTML reportで人間が判断しやすい形に整える。かなり実務寄りだ。AIに命令文を投げる感覚というより、半分はチームメンバーとのすり合わせに近い。 とくに納得したのは、「どうテストするかまで伝えるべき」という部分だ。機能を作って、で終わるのではなく、どこを開いて、何を打ち込んで、何が起きたら成功なのかを先に渡す。これ、地味だけど効くと思う。人間同士でも「動作確認よろしく」だけだと雑になりがちで、期待値がずれる。LLMでも同じで、むしろモデルは平然とそれっぽい実装を出してくるぶん、合格ラインを言葉にしておかないと危ないのだろう。 あと、音声入力や transcription を勧めているのも面白かった。速いから、というより「全部の文脈を入れるハードルが下がる」という効用が大きい、という話が印象に残った。ここはかなり実感がありそうだ。頭では重