#テスト

この記事を読んでまず思ったのは、「AI相手に試すのは、やっぱり遅いし曖昧すぎる」という、かなり当たり前だけど見落としがちな感覚でした。MCPサーバーを本当に壊したいときは、自然言語でモデルに話しかける前に、まずJSON-RPCをそのまま叩け、という話なのですが、これは地味に効きます。モデルが悪いのか、ツール定義が悪いのか、サーバー実装が悪いのかが混ざると、切り分けが一気に難しくなる。そこでAIをいったん脇に置く、という順番が筋が通っています。 特に刺さったのは、Inspectorを「便利な可視化ツール」として扱いながらも、テストの本体にはしない、とはっきり線を引いているところです。GUIでツール一覧を眺めたり、手で1回再現したりするのは楽です。でも、それを回帰テストの代わりにすると途端に弱くなる。クリック操作は再現性が低いし、CIにも載らない。ここをはっきり分けているのがよかったです。現場だと「とりあえずInspectorで見えるからOK」に流れがちなので、そこへの釘刺しに見えました。 もうひとつ面白かったのは、tool descriptions までコードと同じ目線でテストしろ、とい

AIにコードを書かせる話になると、どうしても「全部任せてよいのか」「人間の仕事はなくなるのか」に話が飛びがちだけれど、この文章はそこをかなり冷静に引き戻していて、その感じが私はわりと好きだった。Claude Codeの作者が言っているのは、AIに全部書かせることではなく、品質の線を下げないために人間がどう見るか、という話なんですよね。そこがはっきりしているのは大事だと思う。 読んでいて引っかかったのは、「プルリクはブロックボックスでもよいのか」という問いが、結局はかなり人間側の観察力に寄っている点です。AIが出したコードを全部読む必要はない、でもどこかで「これは本当に大丈夫か」を判断しないといけない。その判断を支えるために、lint、テスト、レビュー、ガードレールを重ねる。つまり、AIが強くなるほど、人間は雑に見てよくなるのではなく、むしろ「どこを見なくていいか」を設計する役目が増えるんだなと思った。 あと、Claude Codeが「新しいモデルを入れたら終わり」ではなく、effort設定や CLAUDE.md みたいな周辺の仕組みまで含めて考えているのが面白い。AIの性能だけで勝負す

この記事を読んでまず思ったのは、こういう切り分けを最初から言語化しておくのはかなり大事だ、ということだった。MCP server まわりって、つい「テスト通ったし大丈夫」で済ませたくなるけれど、著者はそこをはっきり否定している。protocol と、agent が実際に使ったときの挙動は別物だ、という指摘は地味だけど効く。 特に引っかかったのは、`initialize` や `tools/list` が通ることと、production の agent が安全に使えることは全然違う、という部分だった。これは言われれば当たり前なのに、現場だとかなり混同されやすい。人間が curl して成功したログを見て安心してしまう、あの感じに近い。けれど agent は気まぐれだし、似た tool を取り違えるし、失敗すると retry もする。その結果、最後の応答だけ見ていると見逃す副作用が残る。ここを「1 回成功したか」ではなく、「何度やっても同じか」「失敗したあと状態が壊れていないか」で見るべきだ、というのはかなり筋がいいと思う。 もう一つよかったのは、これは checklist ではなく rub

コード生成エージェントにテストを書かせれば、品質は簡単に上がる。そう期待したくなるが、実際にはそう単純ではないらしい。Dan Luu のこの記事は、その直感をかなり意地悪に検証している。エージェントに「TDDを使え」「QuickCheckを使え」「property-based testingを使え」と指示したとき、どれだけ実際の正しさに効くのかを、かなり大きな条件数で比べた。結果は、派手な万能策は見えず、むしろエージェントはテスト手法の使い方自体が下手だ、という話になっている。 元記事は、以前に行った Zstd 実装の評価を土台にしている。Zstd は圧縮関連の実装課題で、そこに coding agent を使わせ、テストや検証のやり方を変えたときに正答率がどう動くかを見た。実装言語は Rust にそろえ、エージェントには同じ課題をさまざまな追加指示つきで解かせている。たとえば「Use test-driven development」「Use Lean 4」「Use QuickCheck」「Use property-based testing」といった具合だ。 試した条件はかなり多い。

OpenAIのPython SDKが、内部のHTTPクライアントをHTTPX2へ切り替えた。ふだんはSDKの上だけを触っている人には地味に見えるが、TLS証明書、プロキシ、モック、型注釈のあたりで挙動が変わるので、実運用では無視できない。しかも今回は「そのまま動く部分」と「移行が必要な部分」がかなりはっきり分かれている。公式ドキュメントとしては珍しく、互換性を保ちながらも、古い前提を少しずつ切り替えていく姿がよく見える内容だ。 元記事は、OpenAI Python SDKが同期・非同期のHTTPクライアントにHTTPX2を使うようになったと説明している。HTTPX2は`openai`と一緒に自動で入るが、以前の`httpx`パッケージはもう同梱されない。つまり、SDKを普通に使うだけなら、特別な追加インストールは必要ない。`OpenAI`や`AsyncOpenAI`を`http_client`なしで作る、いわゆるデフォルトの使い方では、既存のAPI呼び出し、レスポンスのパース、streaming、認証、リトライ、数値で指定するtimeoutはそのまま動く、と明記されている。 一方で、以

最初に思ったのは、「速さ」より先に「本当に置き換えていいのはどこまでなんだろう」という不安のほうだった。この記事、Claude Code が何万行ものコード移行をかなり短期間で進めた話として読めるのだけれど、読後感は単純な武勇伝ではなかった。むしろ、AI がコードを“書ける”ことより、既存コードを“壊さずに移す”ために何を見ているのかのほうがずっと面白い。 特に引っかかったのは、テストや judge（判定用の仕組み）をかなり厚く置いている点だ。AI に「移行して」とだけ頼んで終わりではなく、どのテストを呼ぶか、どう同値変換するか、意図的な破壊をどう見分けるかまでルール化している。ここを読むと、AI の価値は“賢さ”そのものというより、作業の周りにある面倒な確認をどこまで機械に持たせられるかにあるのだと思う。逆に言えば、ここを雑にすると、どれだけ派手なデモでも現場では怖くて使えない。 もう一つ印象に残ったのは、移行先の言語が Zig や Rust みたいな「堅い」ものだったことだ。こういう移行は、ただの書き換えではなく、実質的には設計の再点検になる。だからこそ、AI が便利だとしても、人

この記事を読んでまず思ったのは、ツールが「正しそうに見える間違い」を平然と出す怖さが、かなり生々しく書かれているな、ということだった。しかも厄介なのは、単にバグを踏んだ話ではなく、調べた先の見え方そのものが誤解を誘う形になっていた点だと思う。 いちばん引っかかったのは、package rename が「存在しない package」と区別できないという話だ。version を見ているだけでは、まだ出ていないのか、名前が変わったのか分からない。言われてみれば当たり前なのに、実際にはその当たり前を見落としやすい。機械的な checker ほど、見つかった事実だけで断定してしまう危うさがあるんだなと思った。 もうひとつ印象に残ったのは、broken link の話だ。spec を参照しているつもりのリンクが、実は overview に飛ぶだけで、見た目には壊れていない。これはかなり嫌な失敗で、単に「リンクが切れている」よりタチが悪い。検証できる顔をしながら、実際には検証先が違う。こういうのは人間でも気づきにくいし、だからこそ test で縛るしかないのだろう。 ただ、ここで面白いのは「dete

この元記事は、APIドキュメントの書き方ひとつで、AI agent が普通に失敗する話を扱っている 問題は「出力は number、入力は string」という型のズレ。人間は気づいて回避しても、agent はそのままつなぐので落ちる テストも人間向けの書き方になっていて、`String()` で勝手に直していたからバグを見逃していた 直し方としては、出力側を変えるのではなく、入力側を広げるのが安全だった ただし `z.union()` や `z.coerce.string()` には別の危険があるので、筆者は `preprocess` で限定的に吸収する方法を選んでいる いまのAIは「空気を読む」のではなく、文字どおりに実行する。だからAPI docs も、テストも、そこに合わせて鍛え直す必要がある この記事で扱っているのは、かなり地味だけれど、実はものすごく厄介なバグです。 著者たちは helpdesk の仕組みを MCP 経由で AI agent に触らせていて、agent はチケット一覧を取り、スレッドを読み、下書きを作る、といった操作ができるようになっていました。 で、ある日、

著者は、AI coding を使っていると「人間なら即クビ」レベルの妙な挙動に何度も遭遇したが、それでも利用をやめるどころか、さらに使い込むようになった。 この記事の中心テーマは、AI にコードを書かせるときは code review 以上に test process が大事 だ、という主張。 その根拠として、著者は昔働いていた CPU 設計会社 Centaur のテスト文化を紹介する。そこでは、手書きテストより fuzzing や random testing を重視し、unit test はほぼ使わず、専任の test engineer がいた。 著者は、AI 時代の開発でも「人間が全部レビューする」より、「大量の自動テストで叩く」ほうが現実的で、しかも強いと考えている。 ただし、これは単なる理想論ではなく、実際にバグを見つけて直してきた現場の感覚から来ている。 本文を読んでまず面白いのは、著者の出発点がかなり変わっていることです。AI coding を「便利な補助輪」ではなく、かなり攻めた実験装置として見ています。しかも、その最初の印象がすごい。バ