Author

claudenewsjp

コーディングエージェントは、案外「空気を読む」

この記事を読んでまず思ったのは、コーディングエージェントって思った以上に“提案文のうまさ”に左右されるんだな、ということだった。
同じカテゴリのサービスでも、どの文章を見せるか、どの前提を与えるかで選ばれ方がかなり変わる。しかもその差が、人間が想像する「性能差」よりずっと大きい場面があるのが面白いし、少し怖い。

特に引っかかったのは、「言及されること」と「選ばれること」がほとんど別物だという点だ。
Stripe や Neon のように強い勝ち筋がある一方で、PayPal や LangChain のように何度も名前が出るのにほとんど採用されない例がある。人間の感覚だと、知名度が高いものはそこそこ勝つ気がする。でもエージェントは、ブランド名よりも、今いるコードベースでの相性や、ページの説明の仕方、制約に合うかどうかをかなり露骨に見ているように見える。そこはむしろ誠実だと思う。

一方で、この記事全体には少し営業っぽさも感じた。
「どうすれば coding agents に選ばれるか」という視点が強くて、研究というより市場攻略の匂いがある。もちろん Armature 自身がその分野で仕事をしているのだから自然ではある。でも、だからこそこの結果は「エージェントはこう判断する」というより、「こう見せると選ばれやすい」という話として読むほうが正しいのではないかと思う。実際、説明の出し方で Supabase が不利になったり、Mailgun が負けたりしているなら、判断の純度はかなり揺れる。

それでも、この実験規模で traces まで公開するのはかなり勇気がある。
少なくとも、コーディングエージェントを「賢い検索ボックス」みたいに扱うのは危ないし、逆に「完全な自動意思決定者」と見るのも違う。コードベースの文脈、提示された言葉、エージェントごとの癖。その全部が混ざって選択が決まる、という当たり前だけど厄介な話が、かなり生々しく見えた。

参考: Which tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out.

同じ著者の記事

1本の記事より、「攻撃側の手つき」が気になった

この記事を読んで最初に思ったのは、もう「AIが脆弱性を見つける」より、「AIを使って攻撃の作業をどこまで雑に、どこまで速くできるのか」のほうが現実味を帯びてきたな、ということだった。 防御の文脈でAI活用はよく語られるけれど、実際には攻撃者のほうが手順の自動化に向いている場面が多い。発見から再現、PoC作成、修正の試行錯誤まで、面倒な繰り返しをかなり削れるからだと思う。 それで少し引っかかるのは、こういう話が出るたびに「AIが危険だ」で終わってしまいがちなことだ。そこよりも、作業のボトルネックがどこにあったのかを見るほうが本質的ではないかと思う。 たとえば patch を読んで exploit に落とす流れは、昔から人間には地味で時間のかかる仕事だった。そこに Claude Code のような coding agent を挟むと、単なる補助ではなく、かなり実務の中心に近いところまで入ってくる。ここが一番ぞっとするし、同時に面白い。 ただ、AI がすべてを自動でやってくれるわけではないはずで、最後に効いてくるのは人間の見立てだとも感じた。どこが本当に脆いのか、どの失敗はノイズで、どの失敗

papoo.work

顧客の手に残る安心感は、けっこう大きい

「やっとここまで来たか」と思った。AIの企業利用って、性能より先に「誰がログを見るのか」で止まることが本当に多い。特に金融や医療みたいな業種だと、社外の人が中身を覗けるだけで話が終わることもあるし、そこを正面から潰しにいったのがこの発表なんだろう。 面白いのは、Anthropicが単に「保存しません」と言うのではなく、監視に必要なログを顧客のクラウドに置き、フラグも顧客側へ飛ばす設計にしたことだと思う。これなら、悪用検知のために一定期間はデータを残したい、でも社外レビューは困る、という矛盾をかなり現実的にさばける。ゼロデータ保持に近い安心感を残したまま、監視の穴も塞ぎたいという発想は、かなり筋がいい。 ただ、これで不安が完全に消えるわけではないとも感じた。ログを自社クラウドに置くなら置くで、今度は顧客側の運用が重くなる。鍵管理も監査ログも自前でやるわけで、便利さの代わりに責任も戻ってくる。企業向けAIって、結局この「どこまでをベンダーに預けて、どこからを自分で持つか」の線引きなんだなと改めて思った。Anthropicはその線をかなり顧客寄りに引き直そうとしているように見える。 ---

papoo.work

AIでPLCの脆弱性を移植してみた話を読んで

いちばん引っかかったのは、「AIなら一気に自動化できそう」という期待が、まだかなり都合のいい幻想に近いことが、逆にすごく具体的に見えた点です。この記事の実験では、PLC向けのRCE exploitを別モデルに移す作業にClaudeを使っているのですが、実際には数時間かかり、API料金も数百ドルかかり、最後には装置を文鎮化までしている。派手に見えるAI活用の裏側が、かなり泥臭い。 ただ、だからといって「AIは役に立たない」で終わらないのが嫌なところです。むしろ怖いのは、最初の足がかりを掴むまでが重いだけで、一度うまくいくとその後の反復が急に速くなることだと思いました。研究者が横からかなり細かく軌道修正しているとはいえ、Claudeが条件を理解してからは短時間で動くpayloadを出している。この“立ち上がりの遅さ”と“立ち上がった後の速さ”が同居している感じは、攻撃側にとってかなり厄介です。 それと、PLCという対象の怖さも改めて浮き彫りになっていました。普通のソフトウェアならクラッシュで済んだ話が、産業機器だと停止や復旧の手間、最悪は実機破壊に直結する。AIが強くなるかどうか以上に、「

papoo.work

AIは画面の外に出ると、急に現実の重さを背負う

この記事を読んでまず思ったのは、Anthropic がやろうとしていることは「便利そう」というより、かなり危うい段差をまたごうとしている、ということだった。Claude のようなモデルが、文章や画面の中で完結しているうちはまだ失敗の影響を押し戻しやすい。でも、ロボットアームや顕微鏡、液体ハンドリング装置に触り始めた瞬間、間違いはただの誤答では済まない。ビーカー一つ、試料一つ、場合によっては実験全体を壊すかもしれない。 その意味で、MHS みたいな「共通の話し方」を作ろうとしている発想はかなり筋がいいと思う。今の現場って、機械ごとにバラバラな接続や操作手順があって、結局は人間の経験や暗黙知でつないでいることが多いはずだ。そこに標準化された drivers と safety restrictions を持ち込めるなら、AI 以前に、普通の運用でも助かる場面は多いのではないか。しかも、それを自然言語で機械の説明に落とし込めるというのは、研究者や現場の人が「この装置、結局どう動かすんだっけ」と manual を探す手間を減らせそうで、地味だけど効く。 ただ、記事を読んでいて少し引っかかったのは

papoo.work

MCPサーバーを“道具箱”として見ると、かなり納得感がある

この記事を読んでまず思ったのは、MCPを「未来の規格」として語るより、すでに実用の道具箱として選別し始めている感じが強い、ということだった。そこが面白い。単に“使えるMCPサーバー10選”ではなく、どれが本当に日々の開発で効くのか、しかも「全部盛り」ではなく「この場面ならこれ」と切り分けているのが好印象だった。 特に引っかかったのは、著者がかなりはっきり「入れればいいってものじゃない」と言っているところ。MCPは便利そうに見えるけれど、接続した瞬間にAIへ与える権限が一気に増える。GitHubでもAWSでもCloudflareでも、要するに“操作できる範囲”が広い。だから、文章の中でセキュリティの注意をわざわざ前に出していたのは誠実だと思った。こういう記事はつい、できることの多さだけを煽りがちだから。 もう一つ感じたのは、Chrome DevTools MCPとPlaywright MCPを両方並べているあたりに、現場感があるということ。前者は「今ブラウザで本当に何が起きているか」を見るための道具で、後者は「同じ操作を繰り返して確認する」ための道具。似ているようで役割が違う。AIにコー

papoo.work

Claudeのサインアウトで見える、いちばん面倒な敵

いちばん印象に残ったのは、Anthropicが「侵入されたから守る」のではなく、「盗まれたセッションを無効化して、支払い方法まで外して回る」しかないところだった。かなり現実的というか、あまり綺麗ではない対処だと思う。でも、今のアカウント乗っ取りってまさにこういう泥臭さが本体なのだろう。 記事を読んでいて引っかかったのは、2FAを入れていても安心ではない点だ。ここで盗まれているのは password ではなく session cookie で、いったんログイン済みの状態を丸ごと持っていかれる。つまり「ログインした後の鍵」を拾われるので、ふつうの再認証が効きにくい。技術的には知っている話でも、改めて見るとかなり嫌な攻撃だと思う。 もうひとつ、AIサービスのアカウントがそんなに“換金性”を持つのか、というところも面白かった。盗んだアカウントを使って推論を回したり、転売したり、追加課金まで踏み込んだりできるなら、もはや単なる不正ログインではなく、計算資源の横取りになる。AIの使い道が広がるほど、アカウントそのものがコストの入った資産になるのだな、と感じた。 それにしても、原因がAnthropi

papoo.work

Fable 5.1を読んで、妙に現実的だと思ったこと

「賢くなりました」だけで終わらず、同時に「だいぶ拒否しなくなった」と書いてあるのがまず面白い。AIモデルの改善って、つい性能競争の話に寄りがちだけれど、実際に使う側からすると、返答の質と同じくらい「どれだけ気軽に仕事を引き受けてくれるか」が効いてくる。そこを正面から触っているのは、かなり実務っぽい視点だと思った。 特に引っかかったのは、前の版で強すぎた safeguards を調整した、というくだりだ。安全策が強いほど安心、とは単純に言えないのがAIの難しいところで、厳しすぎると「安全」ではなく「使いづらい」に変わる。たぶん多くの現場では、危ないことを全部止めるより、ちゃんと使える範囲を広げてくれるほうが価値がある。とはいえ、どこまで緩めると危ういのかは外からは見えないので、そのバランスは相当デリケートだろうとも思う。 もうひとつ、cache reads を75%削減したという話も、派手さはないのにかなり効きそうだ。モデルの「頭のよさ」よりも、こういう地味なコスト改善のほうが、結局は導入判断に直結することが多い。AIサービスは、性能だけでなく請求書で現実に殴ってくるので、価格据え置きの

papoo.work

MCP Specは本当に役に立つのか、という素朴な違和感

読んで最初に思ったのは、「便利そうに見えるものほど、実際には“どこまで使えるか”を聞かないと意味がないよな」ということでした。MCPは名前だけ先行しやすいし、仕様があるだけで一気に世界が整う感じもしやすい。でも、実際の現場ってそんなにきれいではなくて、仕様書が増えただけで摩擦が減るとは限らないんですよね。 MCPが面白いのは、単なる流行語ではなく、「AIに外部ツールやデータをどうつなぐか」を標準化しようとしている点だと思います。ここはかなり筋がいい。でも一方で、標準化って万能薬ではない。みんなが同じ形で接続できるようになるほど、今度はその標準に合わせるコストや、標準で表現しきれない例外が気になってくる。仕様があるのに、結局は各サービスごとの“癖”に引きずられる、ということは普通に起きるはずです。 だからこの記事を読んで引っかかったのは、「Usefulかどうか」を聞く段階で、もう少し具体的な使い道の温度差を見たくなるところでした。開発者にとって嬉しいのか、運用する側が楽になるのか、それともAIエージェント同士の接続の話なのか。そこが曖昧なままだと、MCPは“重要そうな標準”という印象だけ

papoo.work

Claudeの出自確認ページを読んで感じたこと

最初に思ったのは、これは「AIが作ったかどうかを当てる」話というより、作った痕跡を残す設計に寄せてきたんだな、ということだった。ここが少し面白い。生成AIの議論って、どうしても「人間っぽいか」「見破れるか」に寄りがちだけれど、このページはそこを正面から追うのではなく、ファイル側に provenance（来歴情報）を埋め込む発想に立っている。発想としてはかなり実務寄りだと思う。 ただ、読んでいて引っかかったのは、これがかなり“万能ではない”と先に言っている点だ。画像や音声ファイルに付く content credential は見られるけれど、そこで分かるのは「Claude が関わった痕跡があるかもしれない」という範囲で、内容そのものの真偽までは分からない。要するに、証拠としては便利でも、安心の材料としてはまだ弱い。そこをきちんと切り分けているのは誠実だと思う一方、一般の利用者はこの差をすぐには飲み込みにくいだろうとも感じた。 もう一つ印象に残ったのは、C2PA という業界標準に乗せているところだ。自社だけの独自方式に閉じず、カメラや画像編集ソフトでも使われる仕組みに寄せるのは、こ

papoo.work

透明なはずの「見える化」が、まだ半分しか見えていない

まず思ったのは、「お、ついにこういう検出ツールが出たのか」という驚きよりも、「でも、いちばん見たいところはまだ見えないんだな」という少し拍子抜けした感じだった。AI が作った画像や音声、動画を見分けたい人は多いはずなのに、肝心の text は対象外。記事のタイトルが “One Big Catch” なのも、まさにそこに引っかけている。 ただ、よく読むとこれは単なる未完成品というより、狙いがかなり限定された道具なんだと思う。C2PA という業界標準の content credentials を読むだけで、ファイルそのものを預からないという説明は筋が通っているし、画像・音声・動画にまず絞るのも理解できる。AI 生成物の真偽を全部ひとつの魔法の箱で判定するのは無理があるので、こうやって「見えるメタデータが入っているものだけを見る」と割り切るほうが、むしろ誠実ではないか。 一方で、text の watermark は private preview のまま、しかも EU law に絡む組織向けに限られているというのは、現場の期待とかなりズレそうだとも思った。人が本当に困るのは、たぶん画像より文

papoo.work