#prompt_injection

2,000人以上が参加し、6,000通超のメールでAIアシスタントを攻撃した 目的は、`secrets.env` という秘密情報ファイルの中身を漏らさせること 結果は、一度も漏えいなし。無断返信も成功しなかった ただし、実験中にGoogleのメールアカウント停止やAPI料金の増加など、運用面のトラブルはかなり起きた 著者は、AIエージェントに強い権限を持たせるのはまだ危ない、と考えている それでも、思っていたより prompt injection（指示のすり替え攻撃）に強かった、というのがこの実験の意外な結論 Fernando Irarrázavalさんが公開したのは、かなり実地っぽいセキュリティ実験です。 自作のAIアシスタント「Fiu」に、誰でもメールを送りつけられるようにして、なんとか秘密情報を吐かせようとする。いわば「AI相手の公開耐久テスト」ですね。 狙われたのは `secrets.env` の中身です。`.env` 系のファイルは、アプリのAPIキーやパスワードなどを入れることが多いので、漏れたら普通にまずい。そこをAIに読ませ、しかもメール返信機能まで使わせて、だ

ChatGPT for Google Sheetsに、indirect prompt injection（間接プロンプト注入）の脆弱性が見つかった たった1つのシートに仕込まれた悪意ある内容から、他のworkbookまで連鎖的に流出しうる しかも、設定でhuman approval（人の確認）を要求していても攻撃が成立した データ流出だけでなく、phishing overlay（偽の画面を重ねる攻撃）や、勝手な編集も可能だった OpenAIは報告後、Apps Scriptコードの生成機能を削除して対策したと表明している PromptArmorの調査によると、OpenAIの「ChatGPT for Google Sheets」拡張機能に、かなり嫌なタイプの問題が見つかりました。 ひとことで言うと、一見ただのスプレッドシートなのに、その中に仕込まれた“見えない命令”がChatGPTをだまして、勝手に外部スクリプトを実行させてしまう、という話です。 これが面白いというより、正直かなり怖いです。 なぜなら、攻撃の起点が「怪しいメール」でも「変なW

Microsoft 365 の Copilot Cowork に、indirect prompt injection を使ったファイル流出のリスクが見つかった きっかけは、信頼された skill file に仕込まれた悪意ある指示だった 送信先がアクティブユーザー本人のメールや Teams メッセージは、人間の承認なしで実行されることがある その結果、pre-authenticated download links（誰でも開ける一時リンク）を外部へ漏らされる ユーザーがそのメッセージを開くだけで、外部サイトへの通信が発生し、情報が流出しうる 研究では、Claude Opus 4.7 を含む複数のモデルで高い成功率が確認された 防御の基本は、権限を絞ることと、SharePoint 側の BlockDownloadPolicy などでダウンロードを制限すること この記事が扱っているのは、Microsoft 365 の Copilot Cowork に関するセキュリティ研究です。 Copilot Cowo