#テスト

コード生成エージェントにテストを書かせれば、品質は簡単に上がる。そう期待したくなるが、実際にはそう単純ではないらしい。Dan Luu のこの記事は、その直感をかなり意地悪に検証している。エージェントに「TDDを使え」「QuickCheckを使え」「property-based testingを使え」と指示したとき、どれだけ実際の正しさに効くのかを、かなり大きな条件数で比べた。結果は、派手な万能策は見えず、むしろエージェントはテスト手法の使い方自体が下手だ、という話になっている。 元記事は、以前に行った Zstd 実装の評価を土台にしている。Zstd は圧縮関連の実装課題で、そこに coding agent を使わせ、テストや検証のやり方を変えたときに正答率がどう動くかを見た。実装言語は Rust にそろえ、エージェントには同じ課題をさまざまな追加指示つきで解かせている。たとえば「Use test-driven development」「Use Lean 4」「Use QuickCheck」「Use property-based testing」といった具合だ。 試した条件はかなり多い。

OpenAIのPython SDKが、内部のHTTPクライアントをHTTPX2へ切り替えた。ふだんはSDKの上だけを触っている人には地味に見えるが、TLS証明書、プロキシ、モック、型注釈のあたりで挙動が変わるので、実運用では無視できない。しかも今回は「そのまま動く部分」と「移行が必要な部分」がかなりはっきり分かれている。公式ドキュメントとしては珍しく、互換性を保ちながらも、古い前提を少しずつ切り替えていく姿がよく見える内容だ。 元記事は、OpenAI Python SDKが同期・非同期のHTTPクライアントにHTTPX2を使うようになったと説明している。HTTPX2は`openai`と一緒に自動で入るが、以前の`httpx`パッケージはもう同梱されない。つまり、SDKを普通に使うだけなら、特別な追加インストールは必要ない。`OpenAI`や`AsyncOpenAI`を`http_client`なしで作る、いわゆるデフォルトの使い方では、既存のAPI呼び出し、レスポンスのパース、streaming、認証、リトライ、数値で指定するtimeoutはそのまま動く、と明記されている。 一方で、以

最初に思ったのは、「速さ」より先に「本当に置き換えていいのはどこまでなんだろう」という不安のほうだった。この記事、Claude Code が何万行ものコード移行をかなり短期間で進めた話として読めるのだけれど、読後感は単純な武勇伝ではなかった。むしろ、AI がコードを“書ける”ことより、既存コードを“壊さずに移す”ために何を見ているのかのほうがずっと面白い。 特に引っかかったのは、テストや judge（判定用の仕組み）をかなり厚く置いている点だ。AI に「移行して」とだけ頼んで終わりではなく、どのテストを呼ぶか、どう同値変換するか、意図的な破壊をどう見分けるかまでルール化している。ここを読むと、AI の価値は“賢さ”そのものというより、作業の周りにある面倒な確認をどこまで機械に持たせられるかにあるのだと思う。逆に言えば、ここを雑にすると、どれだけ派手なデモでも現場では怖くて使えない。 もう一つ印象に残ったのは、移行先の言語が Zig や Rust みたいな「堅い」ものだったことだ。こういう移行は、ただの書き換えではなく、実質的には設計の再点検になる。だからこそ、AI が便利だとしても、人

この記事を読んでまず思ったのは、ツールが「正しそうに見える間違い」を平然と出す怖さが、かなり生々しく書かれているな、ということだった。しかも厄介なのは、単にバグを踏んだ話ではなく、調べた先の見え方そのものが誤解を誘う形になっていた点だと思う。 いちばん引っかかったのは、package rename が「存在しない package」と区別できないという話だ。version を見ているだけでは、まだ出ていないのか、名前が変わったのか分からない。言われてみれば当たり前なのに、実際にはその当たり前を見落としやすい。機械的な checker ほど、見つかった事実だけで断定してしまう危うさがあるんだなと思った。 もうひとつ印象に残ったのは、broken link の話だ。spec を参照しているつもりのリンクが、実は overview に飛ぶだけで、見た目には壊れていない。これはかなり嫌な失敗で、単に「リンクが切れている」よりタチが悪い。検証できる顔をしながら、実際には検証先が違う。こういうのは人間でも気づきにくいし、だからこそ test で縛るしかないのだろう。 ただ、ここで面白いのは「dete

この元記事は、APIドキュメントの書き方ひとつで、AI agent が普通に失敗する話を扱っている 問題は「出力は number、入力は string」という型のズレ。人間は気づいて回避しても、agent はそのままつなぐので落ちる テストも人間向けの書き方になっていて、`String()` で勝手に直していたからバグを見逃していた 直し方としては、出力側を変えるのではなく、入力側を広げるのが安全だった ただし `z.union()` や `z.coerce.string()` には別の危険があるので、筆者は `preprocess` で限定的に吸収する方法を選んでいる いまのAIは「空気を読む」のではなく、文字どおりに実行する。だからAPI docs も、テストも、そこに合わせて鍛え直す必要がある この記事で扱っているのは、かなり地味だけれど、実はものすごく厄介なバグです。 著者たちは helpdesk の仕組みを MCP 経由で AI agent に触らせていて、agent はチケット一覧を取り、スレッドを読み、下書きを作る、といった操作ができるようになっていました。 で、ある日、

著者は、AI coding を使っていると「人間なら即クビ」レベルの妙な挙動に何度も遭遇したが、それでも利用をやめるどころか、さらに使い込むようになった。 この記事の中心テーマは、AI にコードを書かせるときは code review 以上に test process が大事 だ、という主張。 その根拠として、著者は昔働いていた CPU 設計会社 Centaur のテスト文化を紹介する。そこでは、手書きテストより fuzzing や random testing を重視し、unit test はほぼ使わず、専任の test engineer がいた。 著者は、AI 時代の開発でも「人間が全部レビューする」より、「大量の自動テストで叩く」ほうが現実的で、しかも強いと考えている。 ただし、これは単なる理想論ではなく、実際にバグを見つけて直してきた現場の感覚から来ている。 本文を読んでまず面白いのは、著者の出発点がかなり変わっていることです。AI coding を「便利な補助輪」ではなく、かなり攻めた実験装置として見ています。しかも、その最初の印象がすごい。バ