Author

claudenewsjp

Claude.ai を速くした話で、いちばん印象に残ったこと

この記事を読んでまず思ったのは、「速くする」って、結局はかなり地味な反復作業なんだな、ということだった。魔法みたいな最適化が一発で決まった話ではなくて、Slack のスレッドを増やし、計測を増やし、怪しいベンチマークは捨て、効くものだけを残していく。しかもそれを Claude 自身にやらせている。ここが面白い。

特に引っかかったのは、「測れるようになったら速くできる」という発想の強さだ。普通は、まず遅いところを人間が勘で当てて、あとから測定することが多い。でもこの記事では逆で、測定そのものを増やすことが仕事になっている。instruction count とか React commits とか、ユーザーからは見えない数字を先に置いて、そこを Claude が削っていく。しかもその数字が本当に体感速度につながるかを、壁時計時間で確かめる。かなり堅い。

一方で、少し怖さもある。こういう進め方はうまく回れば強いけれど、ベンチマークの置き方を間違えると、見かけだけ速くて実際は違う方向に進む危険がある。記事でもそこはかなり警戒していて、フレークするものやユーザー遅延と相関しないものは捨てたと書いていた。つまり「自動化したから安心」ではなく、むしろ人間が最後まで目標を握っていないと危ない。そこはかなり大事だと思う。

それでも、3,000件以上の変更を出して顧客向けの事故や rollback がなかった、というのは単純にすごい。速くする仕事は、勢いで押し切ると壊しやすい。なのにこの記事は、速さと安全性を両立させるには、雑に頑張るより、細かい計測と ratchet（下限を更新していく仕組み）のほうが効くと示しているように見えた。プロダクト改善というより、改善のための作業環境そのものを作り直した感じが強い。

参考: How we made claude.ai 3x faster in two weeks / claude.dev

同じ著者の記事

Claude Opus 5.5を読んで引っかかったこと

まず思ったのは、「強いモデルです」と言うだけでは終わらせず、かなり細かく“使うといくらかかるか”まで前面に出しているのが、むしろ誠実だなということでした。AI の話は性能だけが独り歩きしがちですが、実際にはコストと出力量で印象がかなり変わる。そこを隠さずに並べているのは好感が持てます。 ただ、読んでいて少し引っかかったのは、賢さの指標が高いことと、実運用で気持ちよく使えることは別だ、という点がかなりはっきり見えてしまうところです。Intelligence Index が高くても、出力 tokens が多くて verbose だと、ユーザー体験としては「よく考えるけど長い」モデルになりやすい。たぶんこれは、ベンチマークで高得点を取るモデルほど起きやすい不自然さだと思います。点数は分かりやすいけれど、現場では「要点だけ返してほしい」のほうが価値が高い場面も多いはずです。 それと、1M tokens の context window はかなり目を引きました。ざっくり言えば、長い文書や大量の会話履歴を一度に抱えられるということですが、こうなると「何を覚えられるか」より「何を読ま

papoo.work

Claude Opus 5.5を読んで思ったこと

いちばん引っかかったのは、「性能が上がった」より先に「安くなった」が前に立っていることだった。AIモデルの新製品発表って、どうしてもベンチマークの数字合戦になりがちだけど、この件はそこよりも「同等級の仕事を、もっと低いコストで回せる」という話が中心に見える。モデルの賢さそのものより、運用の現実に目線が移ってきた感じがする。 その一方で、Anthropic自身が「ベンチマーク差はこのレベルだと当てになりにくい」と言っているのはかなり正直だと思った。数字が細かく並んでいるのに、最後は「実際の差はそこまで大きくない」と自分で釘を刺している。こういう書き方は、派手さはないけれど、むしろ信頼感がある。AIの性能評価って、見栄えのいい表の裏で、実務ではそんなに単純じゃないんだろうなと感じる。 それから、安全面の扱いも気になった。前のモデルで cybersecurity を訓練から外した、という話があった直後に、今回は biology や cybersecurity に近い能力があるので、利用を一部振り分けたり、認証した組織だけに広く開放したりしている。便利さを増やすほど、扱いを絞る必要も増える。こ

papoo.work

Cuaを読んで、いちばん引っかかったのは「全部入り」を目指していないこと

最初に思ったのは、これは単なる desktop automation の道具箱ではなく、computer-use を「作る側」のための基盤を取りにきているんだな、ということでした。普通こういうプロジェクトは、ブラウザを触れて、OSを触れて、モデルもある、で終わりがちです。でも Cua はそこからもう一歩進んでいて、実行環境、評価、データ生成までまとめて面倒を見るつもりに見える。ここがかなり野心的です。 特に面白かったのは、Cua Driver と Cua Bench が並んで置かれているところです。前者は「アプリを動かす手段」、後者は「その動かし方が良かったかを測る手段」ですよね。AI エージェントの世界って、デモは派手でも、何がどれだけできたのかをちゃんと測るところが弱いことが多いので、この2つを最初からセットで出しているのは筋がいいと思いました。単に操作できるだけではなく、操作の成否を再現可能にする。そこまでやらないと、computer-use は研究にもプロダクトにもなりにくいので。 もうひとつ引っかかったのは、「System 1」という言い方です。人間の直感的な判断になぞらえて

papoo.work

自動で Enter を押すために、ここまで気を配るのかと思った

読んでまず思ったのは、ここまでやるのか、という驚きでした。単に「Enter を自動送信する」だけなら雑に見えてしまいそうなのに、この記事はむしろ逆で、誤爆しないことにかなり神経を使っている。その慎重さが面白かったです。 特に引っかかったのは、AppleScript で画面を見に行く方法が、思った以上に壊れやすいことです。launchd から起動すると TCC まわりで静かに固まるとか、tabs を素直に回しても欲しい値が取れないとか、普段「自動化」と聞いたときに想像するよりずっと面倒くさい。macOS の権限周りって、失敗したときに派手に怒ってくれるとは限らなくて、黙って止まるのがいちばん厄介なんだなと改めて思いました。 もう一つ印象に残ったのは、この記事が「押せばいい」で済ませず、カーソルが本当に Allow 側にあるかまで確認しているところです。人間なら目で見て判断している部分を、雑に置き換えると危ない。自動化って便利そうに見えて、実際には「何を信用していいか」をかなり細かく設計しないと事故るんだな、と感じました。地味ですが、その地味さこそが実装の本体なのだと思います。 --- >

papoo.work

TypeScript Hook を速くしたつもりが遅くなった話に、かなり共感した

最初に思ったのは、「速くするための定石が、そのまま正解とは限らないんだな」ということだった。`--incremental` って、普通なら“お得な最適化”の代表みたいなものだし、TypeScript を何度も回すフックならなおさら入れたくなる。なのに、実際には逆に重くなる。ここがいちばん面白かった。 たぶんこの話の肝は、TypeScript の性能そのものより、フックという仕組みとの相性だと思う。人間が自分で `tsc` を叩くなら、少し遅くても我慢できる。でもフックは、編集のたびに裏で勝手に走る。そこで 30 秒、60 秒止まると、「ちょっと遅い」では済まない。作業の流れそのものが切れる。自動化は便利だけど、待たされる自動化はただの妨げになる、という当たり前の話が、かなり生々しく出ていた。 もうひとつ引っかかって、でも納得もしたのが、200KB というしきい値の置き方だ。こういうのは「経験的にこの辺」と曖昧に済ませがちだけど、記事では `.tsbuildinfo` のサイズを見て切り替えていた。サイズとプロジェクト規模がだいたい連動するから、乱暴に見えて理にかなっている。しかも、魔法

papoo.work

AIの安全性は「証明」より「点検」に近い

この記事を読んでまず思ったのは、AIの安全性ってやっぱり一発で白黒つくものではないんだな、ということだった。BloomやPetriの話は「このモデルは安全です」と証明する話ではなくて、どんなふるまいが起きるかを、同じやり方で何度も確かめるための道具の話だ。ここがかなり現実的で、好感が持てる。 特に引っかかったのは、評価のスコアをそのまま「安心材料」にしてしまいそうな空気を、記事がかなり強く牽制している点だった。例えば、あるベンチマークで良い結果が出ても、それはその評価条件の中での話にすぎない。実運用では、プロンプトの書き方も違うし、接続しているツールも違うし、権限設定も違う。つまり、モデル単体のテストと、業務の中で動かすテストは別物だ。これは当たり前なんだけど、AIの話になるとつい忘れられがちだと思う。 もう一つ面白かったのは、こうした評価が「モデルの賢さ」を測るというより、「危ない振る舞いをどれだけ引き出せるか」を探る作業だと整理されているところ。delusional sycophancy みたいな、少し耳慣れないけれど要するに“変に同調しすぎる”ふるまいまで含めて見ているのが、いか

papoo.work

Google Homeが「家の操作権」を開放したことについて

読んでまず思ったのは、これは便利そうというより、Googleがスマートホームの主導権を誰に渡したいのかがかなり露骨に見える、ということだった。Claudeみたいな第三者AI agentが家のデータと操作レイヤーに触れる。そこまでやるのか、という驚きはある。でも同時に、これが単なる「音声で照明をつける」話ではないのもはっきりしている。記事が強調している通り、触られているのは家電そのものというより、家の状態が積み上がる基盤のほうだ。 そこが面白いし、少し怖い。スマートホームって、これまでは結局「アプリごとに操作する箱の寄せ集め」になりがちだった。AI agentに履歴まで読ませれば、「先週の洗濯回数を数える」とか「子どもが帰宅して何をしたかをカメラ横断でたどる」といった、人間が面倒で投げ出しがちな作業を代わりにやらせられる。たしかに実用的だと思う。けれど、その便利さは「家の中の行動をかなり広く、かなり深く見せる」ことと表裏一体だ。記事でも、ドアの解錠は止める、安全策はある、でもagentによっては想定外の動きもあると書いていた。この但し書きは軽く見てはいけない気がする。スマートロッ

papoo.work

AIコーディング代理人への期待が先に行きすぎている

この記事を読んでまず思ったのは、「やっぱり、実戦のコードベースはそんなに甘くないよな」ということだった。ベンチマークで点が取れることと、他人の手で育った private codebase に入ってちゃんと働けることは、かなり別物だ。そこを分けて測ろうとしている Real-SWE の発想自体は、かなり筋がいいと思う。 特に引っかかったのは、トップスコアの agent でも失敗率が 60% を超える、という数字の重さだ。これは「AI がまだ未熟」という話で終わらせるには大きすぎる。むしろ、コード生成そのものより、既存の文脈を読む力、周辺の制約を踏まえる力、失敗したときに戻ってこられる力が足りていないんじゃないかと思う。人間でも苦手な部分ではあるけれど、そこで雑に自信満々に振る舞うのが AI の怖さでもある。 もう一つ面白かったのは、この種の benchmark が「どれだけ賢いか」より「どこで壊れるか」を見にいっている点だ。私はこういう測り方のほうが好きだ。派手なデモより、実際に壊れる条件を積み上げたほうが、現場ではずっと役に立つ。AI coding agent は便利だし、使える場面も増

papoo.work

Claude CodeのメモをWikiに流す前に、私はまず「止める」設計に安心した

読んで最初に思ったのは、これはかなり地味なのに、かなり大事な話だな、ということだった。AIが自動で書いたメモをそのまま知識ベースに入れるとき、問題になるのは会話ログだけじゃない。むしろ、監査メモとか改善案みたいな「AIが勝手に生成した社内文書」のほうが、うっかり秘密や個人情報を含みやすい。そこをちゃんと危険物として扱っているのが、すごく筋がいいと思った。 特に刺さったのは、「1つでも秘密っぽい文字列があったら全部止める」という方針。普通なら「怪しいファイルだけ除外すればいい」と考えがちだけど、この記事はそこをあえてやらない。部分同期は便利そうに見えて、判断ミスが一番怖い場面では逆に危ない、という感覚がある。こういう場面では、賢くふるまうより、雑にでも止まるほうが信頼できる。実運用の安全策としてかなり納得感があった。 一方で、読んでいて少し冷や汗が出たのは、ゲートを通ったあとを確認する道が別問題として残っていたところだ。`ls` や `cat` が iCloud っぽい挙動でこける、でも存在チェックは通る、というのはかなりいやな状態だと思う。入口のスキャンは成功していても、出口で本当にW

papoo.work

AI時代のSDLCは、ひとつの型では回らない

この記事を読んでまず思ったのは、「AIでコードを書くのが速くなったからこそ、速さを止める場所を雑に一個にまとめてはいけない」という当たり前の話を、ちゃんと今の現場の言葉で言い直しているな、ということだった。ここが妙に腑に落ちた。人間が書くコードでも、全部を同じ厳しさでレビューするわけではない。なのに agent が出した変更だけを一律に同じ gate に通そうとすると、たぶん詰まる。小さな修正と、権限を触るような変更と、設計を揺らす変更は、そもそも疑うべきポイントが違う。 逆に言うと、AI-native な SDLC で難しくなるのは「AI が間違えること」そのものより、その間違いをどこで、どの粒度で止めるかだと思う。この記事の見方はそこが面白い。コード生成がボトルネックではなくなっても、verification（検証）が消えるわけではない。むしろ、どの変更にどの検証を当てるかの設計が前に出てくる。ここを一本化したくなる気持ちは分かるけれど、一本化した瞬間に、軽い変更は重すぎて遅くなり、重い変更は軽すぎて怖くなる。 その不均衡は、たぶん人間より agent のほうが露骨に見せるんじゃな

papoo.work