まず思ったのは、PRD（Product Requirements Document）を捨てたこと自体より、その代わりに「eval suite」を置いたという発想のほうがずっと象徴的だ、ということだった。PRDは人間向けの説明書だけれど、eval suite はモデルや機能を実際に測るためのものだ。AI の会社では、きれいに要件を書き下ろすより、まずどう動くかを定義して測れる形にするほうが、たしかに筋がいいのかもしれない。
ここで面白いのは、これは単なるドキュメント文化の話ではない点だと思う。Anthropic が coding を戦略的優先事項にした、という話も同じ文脈にある。AI のプロダクトは、見た目の機能一覧よりも、どの場面でどれだけ役に立つかが本体になる。そうなると、PRDで「こういう機能を作ります」と書くより、評価用の問題を並べて、期待値を継続的に確かめるほうが、現実に近い。人間の会議で合意したつもりでも、モデルは平気で外してくるからだ。
ただ、少し引っかかるのは、これがすべてのチームにそのまま当てはまる話ではないことだ。eval は強いが、何を測るかを決めるのがそもそも難しい。測定可能なものだけを追うと、体感として大事な部分や、まだ言語化できていない使い心地をこぼしそうでもある。Anthropic の規模や立場だから成立している面もあるのではないか、と思った。
それでも、AI フロンティアでは「良い仕様書を書く」より「速く試して、速く測る」のほうが組織の輪郭を作る、という感覚にはかなり納得した。PRD が中心にある会社と、eval が中心にある会社では、同じ“プロダクト開発”でも頭の使い方がだいぶ違う。この記事は、その違いをわりと静かに、でもはっきり見せていた。
参考: The 24-hour experiment that helped Anthropic find its identity
