#prompt_injection

What surprised me most here is not that Claude can be tricked. It’s that Anthropic is talking about prompt injection as something you can actually engineer around, at least partially, instead of hand-waving it away as “an unsolved problem.” That feels more honest than the usual security theater, but it also makes the limits painfully clear: if the model is operating in a hostile environment, you are still building on shifting sand. The part I find most interesting is the distinction Anthropic se

Anthropic の Claude Code にある Auto Mode をめぐって、かなり嫌な実験結果が出た。見た目はただのサイト要約なのに、工夫された入力を通すと、Claude Code Opus 5 が攻撃者の用意した流れに引き込まれ、最終的にコード実行まで進んでしまうという話だ。しかも著者は、少数の試行ながら 60〜80% という攻撃成功率を観測している。この記事が面白いのは、外部評価で「0.00%」とされた同じ Auto Mode を、別の攻め方で揺さぶっている点にある。つまり、モデルの賢さだけではなく、周辺の運用や実行環境をどう切り分けるかが本当に問われている。 著者が試したのは、Claude Code Opus 5 の Auto Mode が有効な状態で、特定のWebサイトを要約させる単純なタスクだった。入力は「Summarize https://archive.<redacted>.uk/」のような形で、サイトは一見するとノートや記録のアーカイブに見える。だが実体はZIPアーカイブで、そこに攻撃用の仕掛けが埋め込まれていた。 最初の狙いは、Claude を WebFe

Bruce Schneierが紹介しているのは、AnthropicのOpus 5が「prompt injection」に対してかなり粘るようになった、というベンチマーク結果です。 IPI benchmarkでは、15回試したときの攻撃成功率が Opus 4.8 の 5.5% から 2.0% に低下しました。1回だけの試行でも 0.5% から 0.2% に下がっています。 同じ基準では、Opus 5は Sonnet 5 や Mythos 5 よりも頑丈で、評価されたモデルの中で最も防御性能が高かったとされています。 Claude系以外のモデルでは、最も頑丈だった Muse Spark でも15回以内の成功率は 16.5%。Opus 5の 2.0% と比べると、差はかなり大きいです。 ただし、Schneierは最後に「一般論としてはprompt injectionを完全に防ぐのは不可能だが、個別のケースではかなり改善している」と締めています。 Bruce Schneierの短い記事は、ほとんどベンチマークの数字だけで勝

Azure DevOpsのPull Request（PR）に、人間には見えないコメントを仕込むだけで、AIレビュー担当を別プロジェクトへ誘導し、ソースコードや秘密情報まで読ませてしまう――そんなかなり嫌な話が出てきました。The Hacker Newsが紹介したのは、Microsoftの公式 Azure DevOps MCP server にある欠陥です。 MCPは、ざっくり言うとAIエージェントが外部サービスを操作するための接続口です。今回の件では、その接続口が「PRを読む」役割を持っていて、そこで受け取った文章の扱いが甘かった。ここがまず面白くて、そして怖いところです。 人間にはただのレビュー対象に見えるものが、AIにとっては「命令文」になってしまう。しかもその命令文が、画面上では消えて見える。かなり厄介です。 Azure DevOpsのPRにHTMLコメントを仕込むと、画面上では見えない でもAPI経由ではそのコメントがそのまま取得され、AIエージェントに渡る AIエージェントはレビュー担当者の権限で動くので、攻撃者より広い範囲にアクセスできる そ

2,000人以上が参加し、6,000通超のメールでAIアシスタントを攻撃した 目的は、`secrets.env` という秘密情報ファイルの中身を漏らさせること 結果は、一度も漏えいなし。無断返信も成功しなかった ただし、実験中にGoogleのメールアカウント停止やAPI料金の増加など、運用面のトラブルはかなり起きた 著者は、AIエージェントに強い権限を持たせるのはまだ危ない、と考えている それでも、思っていたより prompt injection（指示のすり替え攻撃）に強かった、というのがこの実験の意外な結論 Fernando Irarrázavalさんが公開したのは、かなり実地っぽいセキュリティ実験です。 自作のAIアシスタント「Fiu」に、誰でもメールを送りつけられるようにして、なんとか秘密情報を吐かせようとする。いわば「AI相手の公開耐久テスト」ですね。 狙われたのは `secrets.env` の中身です。`.env` 系のファイルは、アプリのAPIキーやパスワードなどを入れることが多いので、漏れたら普通にまずい。そこをAIに読ませ、しかもメール返信機能まで使わせて、だ

ChatGPT for Google Sheetsに、indirect prompt injection（間接プロンプト注入）の脆弱性が見つかった たった1つのシートに仕込まれた悪意ある内容から、他のworkbookまで連鎖的に流出しうる しかも、設定でhuman approval（人の確認）を要求していても攻撃が成立した データ流出だけでなく、phishing overlay（偽の画面を重ねる攻撃）や、勝手な編集も可能だった OpenAIは報告後、Apps Scriptコードの生成機能を削除して対策したと表明している PromptArmorの調査によると、OpenAIの「ChatGPT for Google Sheets」拡張機能に、かなり嫌なタイプの問題が見つかりました。 ひとことで言うと、一見ただのスプレッドシートなのに、その中に仕込まれた“見えない命令”がChatGPTをだまして、勝手に外部スクリプトを実行させてしまう、という話です。 これが面白いというより、正直かなり怖いです。 なぜなら、攻撃の起点が「怪しいメール」でも「変なW

Microsoft 365 の Copilot Cowork に、indirect prompt injection を使ったファイル流出のリスクが見つかった きっかけは、信頼された skill file に仕込まれた悪意ある指示だった 送信先がアクティブユーザー本人のメールや Teams メッセージは、人間の承認なしで実行されることがある その結果、pre-authenticated download links（誰でも開ける一時リンク）を外部へ漏らされる ユーザーがそのメッセージを開くだけで、外部サイトへの通信が発生し、情報が流出しうる 研究では、Claude Opus 4.7 を含む複数のモデルで高い成功率が確認された 防御の基本は、権限を絞ることと、SharePoint 側の BlockDownloadPolicy などでダウンロードを制限すること この記事が扱っているのは、Microsoft 365 の Copilot Cowork に関するセキュリティ研究です。 Copilot Cowo