#prompt_injection

Bruce Schneierが紹介しているのは、AnthropicのOpus 5が「prompt injection」に対してかなり粘るようになった、というベンチマーク結果です。 IPI benchmarkでは、15回試したときの攻撃成功率が Opus 4.8 の 5.5% から 2.0% に低下しました。1回だけの試行でも 0.5% から 0.2% に下がっています。 同じ基準では、Opus 5は Sonnet 5 や Mythos 5 よりも頑丈で、評価されたモデルの中で最も防御性能が高かったとされています。 Claude系以外のモデルでは、最も頑丈だった Muse Spark でも15回以内の成功率は 16.5%。Opus 5の 2.0% と比べると、差はかなり大きいです。 ただし、Schneierは最後に「一般論としてはprompt injectionを完全に防ぐのは不可能だが、個別のケースではかなり改善している」と締めています。 Bruce Schneierの短い記事は、ほとんどベンチマークの数字だけで勝

Azure DevOpsのPull Request（PR）に、人間には見えないコメントを仕込むだけで、AIレビュー担当を別プロジェクトへ誘導し、ソースコードや秘密情報まで読ませてしまう――そんなかなり嫌な話が出てきました。The Hacker Newsが紹介したのは、Microsoftの公式 Azure DevOps MCP server にある欠陥です。 MCPは、ざっくり言うとAIエージェントが外部サービスを操作するための接続口です。今回の件では、その接続口が「PRを読む」役割を持っていて、そこで受け取った文章の扱いが甘かった。ここがまず面白くて、そして怖いところです。 人間にはただのレビュー対象に見えるものが、AIにとっては「命令文」になってしまう。しかもその命令文が、画面上では消えて見える。かなり厄介です。 Azure DevOpsのPRにHTMLコメントを仕込むと、画面上では見えない でもAPI経由ではそのコメントがそのまま取得され、AIエージェントに渡る AIエージェントはレビュー担当者の権限で動くので、攻撃者より広い範囲にアクセスできる そ

2,000人以上が参加し、6,000通超のメールでAIアシスタントを攻撃した 目的は、`secrets.env` という秘密情報ファイルの中身を漏らさせること 結果は、一度も漏えいなし。無断返信も成功しなかった ただし、実験中にGoogleのメールアカウント停止やAPI料金の増加など、運用面のトラブルはかなり起きた 著者は、AIエージェントに強い権限を持たせるのはまだ危ない、と考えている それでも、思っていたより prompt injection（指示のすり替え攻撃）に強かった、というのがこの実験の意外な結論 Fernando Irarrázavalさんが公開したのは、かなり実地っぽいセキュリティ実験です。 自作のAIアシスタント「Fiu」に、誰でもメールを送りつけられるようにして、なんとか秘密情報を吐かせようとする。いわば「AI相手の公開耐久テスト」ですね。 狙われたのは `secrets.env` の中身です。`.env` 系のファイルは、アプリのAPIキーやパスワードなどを入れることが多いので、漏れたら普通にまずい。そこをAIに読ませ、しかもメール返信機能まで使わせて、だ

ChatGPT for Google Sheetsに、indirect prompt injection（間接プロンプト注入）の脆弱性が見つかった たった1つのシートに仕込まれた悪意ある内容から、他のworkbookまで連鎖的に流出しうる しかも、設定でhuman approval（人の確認）を要求していても攻撃が成立した データ流出だけでなく、phishing overlay（偽の画面を重ねる攻撃）や、勝手な編集も可能だった OpenAIは報告後、Apps Scriptコードの生成機能を削除して対策したと表明している PromptArmorの調査によると、OpenAIの「ChatGPT for Google Sheets」拡張機能に、かなり嫌なタイプの問題が見つかりました。 ひとことで言うと、一見ただのスプレッドシートなのに、その中に仕込まれた“見えない命令”がChatGPTをだまして、勝手に外部スクリプトを実行させてしまう、という話です。 これが面白いというより、正直かなり怖いです。 なぜなら、攻撃の起点が「怪しいメール」でも「変なW

Microsoft 365 の Copilot Cowork に、indirect prompt injection を使ったファイル流出のリスクが見つかった きっかけは、信頼された skill file に仕込まれた悪意ある指示だった 送信先がアクティブユーザー本人のメールや Teams メッセージは、人間の承認なしで実行されることがある その結果、pre-authenticated download links（誰でも開ける一時リンク）を外部へ漏らされる ユーザーがそのメッセージを開くだけで、外部サイトへの通信が発生し、情報が流出しうる 研究では、Claude Opus 4.7 を含む複数のモデルで高い成功率が確認された 防御の基本は、権限を絞ることと、SharePoint 側の BlockDownloadPolicy などでダウンロードを制限すること この記事が扱っているのは、Microsoft 365 の Copilot Cowork に関するセキュリティ研究です。 Copilot Cowo