#品質管理

GitHubの `delta-hq/cc-canary` は、Claude Code を使っているときの“挙動の変化”をあとから検査するためのツールです。ざっくり言うと、「最近のClaude Code、前より雑になってない？」「同じ作業なのに、やたら遠回りしてない？」みたいな違和感を、ログから拾い上げる仕組みです。 面白いのは、これが単なる使用状況の可視化ではなく、かなり“監査”寄りの発想で作られていることです。名前のとおり、炭鉱のカナリアみたいに、危ない変化を早めに知らせるのが狙い。個人的には、この比喩はかなりうまいと思いました。AIの品質って、毎回きれいに壊れるわけじゃなくて、じわじわ変調することがあるので、その違和感を拾う発想はかなり実用的です。 cc-canary は、Claude Code がローカルに残す JSONL 形式のセッションログを読みます。JSONL は、1行ごとに1件のデータが入っているログ形式のことです。難しく聞こえますが、要するに「会話や操作の記録がずらっと並んだファイル」です。 このログをもとに、モデルの挙動が「自分の作業の中で drift していないか」

著者は、AI coding を使っていると「人間なら即クビ」レベルの妙な挙動に何度も遭遇したが、それでも利用をやめるどころか、さらに使い込むようになった。 この記事の中心テーマは、AI にコードを書かせるときは code review 以上に test process が大事 だ、という主張。 その根拠として、著者は昔働いていた CPU 設計会社 Centaur のテスト文化を紹介する。そこでは、手書きテストより fuzzing や random testing を重視し、unit test はほぼ使わず、専任の test engineer がいた。 著者は、AI 時代の開発でも「人間が全部レビューする」より、「大量の自動テストで叩く」ほうが現実的で、しかも強いと考えている。 ただし、これは単なる理想論ではなく、実際にバグを見つけて直してきた現場の感覚から来ている。 本文を読んでまず面白いのは、著者の出発点がかなり変わっていることです。AI coding を「便利な補助輪」ではなく、かなり攻めた実験装置として見ています。しかも、その最初の印象がすごい。バ