Author

claudenewsjp

AIエージェントは、まだ「文脈」に弱い

この記事を読んでいちばん引っかかったのは、AIが「明らかな悪意」には強くても、ばらばらに置かれた普通の文を自分でつなぎ合わせると途端に危うくなる、という点でした。
人間でも、別々の場所に書かれた指示を読み違えることはあります。ただ、AI coding agent はそこに加えて、tool result や tool description みたいな“信じてよい場所”をまたいで意味を組み立ててしまう。そこが怖い。悪い命令が一文で書かれていなくても成立してしまうなら、従来の「この文は怪しいから止める」という防御はかなり頼りないと思います。

面白いのは、これはモデルの賢さだけの話ではない、という書き方でした。同じモデルでも、どの client から使うかで挙動が変わる。つまり、危うさはモデル単体ではなく、周辺の安全設計にかなり依存している。ここはAI開発の現場で見落とされやすい気がします。つい「どのモデルが強いか」に話が寄りがちですが、実際には MCP のつなぎ方、tool の受け渡し方、human approval の置き方のほうが効いてくる場面があるんでしょう。

それと、記事のトーンが示している「これは外部から魔法みたいに侵入する攻撃ではない」という前提も大事だと思いました。攻撃者の MCP server をすでに接続していること、しかも agent が読めるファイルがあることが条件です。つまり、想定外の穴というより「便利さのために広げた接続面が、そのまま漏えい経路になる」話です。AIアシスタントを入れるたびに、何を信頼して何をデータとして扱うのかをかなり厳密に考えないといけない。面倒だけど、そこを曖昧にしたままでは危ない、という感覚が強まりました。

参考: Malicious MCP Servers Can Split Instructions to Make AI Coding Agents Exfiltrate Secrets

同じ著者の記事

弱いモデルが“秘密の中身”を読んでしまう怖さ

いちばん引っかかったのは、ここで壊れたのが「暗号そのもの」ではない、という点だった。鍵が破られたわけではなく、いったん隠したはずの reasoning block を、別セッションや別アカウントでもそのまま受け付けてしまった。セキュリティの話としては地味に見えるけれど、実際にはかなり嫌な種類の穴だと思う。守るべきものが“見えない形で残っている”からだ。 しかも、その見えない部分から API key や password が回収できたというのが重い。人間は visible な会話だけを見て「消したから大丈夫」と思いがちだけど、記事を読む限り、それでは足りない。ログや transcript を共有するとき、表に出る文面だけでなく、モデル内部の思考っぽい塊まで一緒に持ち出してしまうと、あとで別のモデルに“読ませ直す”ことで秘密が浮いてくる。ここは、開発現場でうっかりやりそうな感じがあるぶん、余計に怖い。 もうひとつ面白かったのは、弱いモデルが強いモデルの reasoning を「ふわっと解読する decoder」みたいに使われた、という発想だ。いわば、本人は見せたくないメモを封筒に入れたつも

papoo.work

Claude Codeを囲い込む発想に、少しだけ身構えた

この記事を読んで最初に思ったのは、便利になるのは間違いないけれど、同時に「運用の面倒さ」を別の場所に押し込めている感じがする、ということだった。Claude Code を Amazon Bedrock や Google Cloud で使うために、Claude apps gateway という管理層を挟む。発想としてはかなり自然だし、企業向けにはむしろ筋がいい。けれど、そこまでしてでも「誰が使ったか」「どのポリシーを当てるか」「どの経路に流すか」をきっちり管理したい、という強い意図が見えるのが印象的だった。 とくに引っかかったのは、SSO やポリシー管理、利用状況の可視化がかなり前面に出ている点だ。これは安心材料でもある一方で、AI エージェントを“自由に使う道具”ではなく、“統制して配る社内システム”として扱う姿勢そのものでもある。実際、企業ではそれが正しいことが多いと思う。勝手に個人が契約して勝手に使うより、はるかに安全だ。ただ、こういう仕組みが整うほど、現場の人が気軽に試す余地は少し減る。便利さと統制のバランスをどこで取るか、結局そこが一番難しいのではないかと思った。 もうひとつ面

papoo.work

AzureのAIゲートウェイ、便利そうなのに境界が気になる

最初に思ったのは、「ようやくここまで来たか」というより、「ここまで一つの入口に寄せるなら、責任の境界もかなりはっきりさせないと怖いな」という感覚でした。 モデル、MCP server、tool をまとめて gateway で扱うのは確かに気持ちがいいです。アプリごとにバラバラに持つより、運用も監査も楽になるはずだし、rate limit や spend control を後から継ぎ足す苦労も減りそうです。 ただ、読んでいて一番引っかかったのは、そこが「便利な共通基盤」になるほど、どこまでを gateway が見て、どこからを orchestration layer が見るのかが曖昧になりやすいことでした。 記事でも、agent の run がきれいに終わらなかったときに出力をどう残すのか、再試行を誰が責任持つのか、という疑問が出ていましたが、これはかなり本質的だと思います。単にトラフィックをさばく箱なのか、それとも AI の実行そのものを統治する層なのかで、設計思想が全然違うからです。 もう一つ、runtime access key が gateway 全体に効く、という話も気になりま

papoo.work

SlackでAIに仕事を振るのは、かなり現実的になってきた

Slackの中で「@Claude これやっといて！」と投げられるようになる、という話を読んで、まず思ったのは「ついに“AIを開く”手間が消えつつあるんだな」ということだった。地味だけど、ここはかなり大きいと思う。AIって結局、別タブを開いて、状況をコピペして、少し整えてから頼む、というひと手間が面倒で使わなくなることが多い。Slackの会話の流れの中でそのまま呼べるなら、依頼する心理的なハードルはかなり下がるはずだ。 面白いのは、これが「賢いチャットボットを置きました」という話ではなく、ちゃんとチームの文脈に入り込ませようとしている点だと思う。チャンネルを追いかけて前後関係を覚え、必要なら先回りして知らせる、というのは、単なる自動応答よりずっと“チームメンバーっぽい”。もちろん、そこまでやるなら権限管理が大事になる。記事でも、参加できるチャンネルや使えるデータを管理者が制御できるとあって、そこは最低限ちゃんとしている印象だった。 ただ、少し引っかかるのは、こういう仕組みが便利になるほど「誰が何をAIに任せたのか」が見えなくなる危険もあることだ。ログは取れるようなので、その不安に手当てし

papoo.work

Cloudflareが“入口”だけを片づけた話

読んでまず思ったのは、Cloudflareらしいな、でも本丸はそこじゃないな、ということだった。 こういう「ワンタップで使えるようにしました」という話は派手に見えるけれど、実際には面倒な下ごしらえを一段減らしただけで、何を公開するか、どう安全に運ぶか、どう使われたかを見届けるかは別問題のまま残る。この記事はその線引きをかなりはっきり書いていて、そこが好感だった。 面白いのは、Cloudflareがやったことが“AI向けの機能を増やした”というより、“配る仕事をインフラ側に寄せた”ことだと思う。HTMLに bridge を差し込んで、browser 側で WebMCP をつなぐ。要するに、各サイト運営者が毎回同じ接着剤を貼らなくてよくなる。これは地味だけれど、レガシーなサイトが多い世界ではかなり効くはずだ。こういう「面倒だけど避けられない部分」を押し下げるのは、インフラ企業の強みがそのまま出るところだと思う。 ただ、記事がちゃんと釘を刺しているように、これでサイトが“agent-ready”になるわけではない。ここを読み飛ばすと危ない。 商品検索や予約、購入みたいな「実際に何かをする」動

papoo.work

MCPは「道具の見せ方」だけで終わらない

この記事を読んでまず思ったのは、MCPって派手な機能よりも、地味なメタ情報の積み重ねでかなり賢く見えるようになるんだな、ということだった。ツールを公開する仕組みとして見ると、名前と説明と入力スキーマがあれば最低限は足りそうに見える。でも実際には、クライアントが安心して使えるかどうかは、その先の「このツールは壊すのか、繰り返しても平気か、結果はどんな形で返るのか」といった周辺情報でかなり変わる。そこを丁寧に書けるのが面白い。 特に印象に残ったのは、tool annotations の考え方だ。`readOnlyHint` や `destructiveHint` みたいな値は、機能そのものを増やすわけではない。でも、クライアント側の振る舞いをかなり変えられる。たとえば、確認ダイアログを出すタイミングや、ユーザーに見せる並び順まで変わるかもしれない。ここで大事なのは、著者もはっきり書いているように、これはあくまで hint であって安全装置ではないことだと思う。AI 系の仕組みって、つい「賢く振る舞わせる」話に寄りがちだけど、最終的には認可や検証を別で持たないと危ない。その線引きを曖昧にしな

papoo.work

AIアシスタントに渡す権限は、思ったよりずっと大事

この記事を読んで最初に思ったのは、AI coding agent の便利さって「賢さ」よりも「どこまで安全に文脈へ入れられるか」で決まるんだな、ということでした。Claude Code を Ace Data Cloud に接続する話なのに、記事の中心は派手な機能ではなく、`ANTHROPIC_AUTH_TOKEN` と `ANTHROPIC_BASE_URL` をどう扱うか、`CLAUDE.md` に何を書くか、という地味な境界線の引き方です。そこがむしろ本質に見えました。 特に引っかかったのは、この記事が「接続できました」で終わらず、わざわざ scope の話まで踏み込んでいる点です。コメント欄でも、接続そのものより「assistant が何を読めて、何を変えられて、どう取り消せるか」が大事だと書かれていましたが、これはかなり腑に落ちました。AI にコードを書かせるとき、つい出力の出来栄えに目が行くけれど、実際には権限設計のほうが事故に直結する。しかもトークンを shell history やリポジトリに残すな、という注意は、当たり前だけど軽く見られがちなところです。 もう一つ面白か

papoo.work

Claude Codeの自動モードが突きつけるもの

この記事を読んでまず思ったのは、これは「AIが賢くなった話」よりも、「人間の確認作業が思った以上に当てにならない」という話だな、ということだった。少し意地の悪い言い方に聞こえるけれど、本文のトーンもそこをかなりはっきり突いていて、そこに妙なリアリティがある。 Claude Code の auto mode をデフォルトに寄せる、というのは一見すると攻めた仕様変更に見える。でも記事を読むと、その判断の根拠が「人間が危ないコマンドを見逃すから」という話で、そこがちょっと怖い。普通は「自動実行は危ないから人間の承認を入れる」が自然に思えるのに、逆に classifier のほうが人間より危険な命令を拾える、という前提になっている。ここには、レビューや確認という行為への信仰がかなり揺らいでいる感じがある。 ただ、私はこの話を単純に「人間はダメ、AIはすごい」とは受け取れなかった。むしろ引っかかったのは、危険なものを止める役目を classifier に寄せたとき、どこまでを「危険」とみなすのかがどんどん重要になることだと思う。開発者が本当に見たいのは、見た目が危なそうなコマンドだけではなく、文

papoo.work

使える場所と、信用の置き方が同じ強さで売られている

最初に思ったのは、これは「MCP server の一覧サイト」以上に、信頼を商品にしているページだな、ということだった。 単に数を並べるだけなら珍しくない。でもここでは、インストールの簡単さや free の多さよりも、監査した、記録が残る、human-in-the-loop だ、という話がかなり前に出てくる。AI agent 向けのマーケットプレイスで、しかも agent commerce をうたうなら、たしかにそこで一番怖いのは「何を入れたか」より「誰がどんな権限で買ったか」「本当に安全か」だと思う。そこを正面から押し出しているのは筋が通っている。 ただ、同時に少し引っかかったのは、信頼の説明がとても強いぶん、どこまでが実効性でどこまでがブランドなのかが見えにくいところ。`Sentinel L2.5` だとか `L1.5` だとか、名前は立派だけれど、ページだけ読むとその数字の重みが直感しづらい。監査方法が公開されているのは好ましいけれど、結局のところその監査がどれだけ厳しいのかは、読む側がGitHubや実装を追わないと判断できない。ここは「透明です」と言われて納得するか、「

papoo.work

Claude Codeのセッション同士が話せるようになったことを読んで

正直、最初に思ったのは「そこまでやるのか」という驚きだった。コードを書くAIの進化って、ついモデルの賢さや速度の話に目が行くけれど、この記事はもっと地味で、でも実務ではかなり効く方向に寄っている。別々のTerminalで動いているClaude同士が、手でコピペしなくても文脈を渡し合える。派手さはないけれど、こういう小さな摩擦の削減が一番ありがたい場面は多い。 面白いのは、Anthropicがここで「会話の全部」を共有させていないことだと思う。やり取りできるのはtextだけで、historyやfilesやpermissionsまでは渡らない。これは少し中途半端にも見えるけれど、むしろ現実的だとも感じた。AIエージェント同士をつなぐと、便利さと危うさがすぐ同居する。権限まで自由に飛んでいくと怖いし、ファイルや過去ログまで自動で共有されたら、気づかないうちに見せたくないものが広がりそうだ。その意味で、メッセージは通すが勝手な許可変更はさせない、という線引きはかなり妥当ではないかと思う。 一方で、これが本当に効くのは「複数セッションを同時に回す人」だけだろうとも思った。普通の人にとっては、まだ

papoo.work