#情報漏えい

この記事を読んでいちばん引っかかったのは、AIが「明らかな悪意」には強くても、ばらばらに置かれた普通の文を自分でつなぎ合わせると途端に危うくなる、という点でした。 人間でも、別々の場所に書かれた指示を読み違えることはあります。ただ、AI coding agent はそこに加えて、tool result や tool description みたいな“信じてよい場所”をまたいで意味を組み立ててしまう。そこが怖い。悪い命令が一文で書かれていなくても成立してしまうなら、従来の「この文は怪しいから止める」という防御はかなり頼りないと思います。 面白いのは、これはモデルの賢さだけの話ではない、という書き方でした。同じモデルでも、どの client から使うかで挙動が変わる。つまり、危うさはモデル単体ではなく、周辺の安全設計にかなり依存している。ここはAI開発の現場で見落とされやすい気がします。つい「どのモデルが強いか」に話が寄りがちですが、実際には MCP のつなぎ方、tool の受け渡し方、human approval の置き方のほうが効いてくる場面があるんでしょう。 それと、記事のトーンが示

読んでまず思ったのは、「公開したつもり」と「実際に見つかる」の間に、まだかなり雑な溝があるな、ということだった。 “共有リンクは推測できない” と言い切るのはきれいだけれど、検索エンジンや第三者のアーカイブまで含めると、公開の範囲は思った以上に広い。そこを利用者の自己責任に寄せるのは、たしかに筋は通っているようで、でも少し冷たい。 特に引っかかったのは、漏れている内容が妙に生々しいことだ。会議メモや医療請求の分析ダッシュボードみたいな仕事道具の延長線上のものだけでなく、therapy app のような、半分は試作品で半分は私事みたいなものまで混じっている。AIチャットって、完成品というより「途中の思考」がそのまま残る場所なので、いったん外に出ると困るものの密度が高いんだと思う。しかも cryptocurrency wallet keys まで出てくると、もう笑えない。 Anthropic の「共有設定を選んだのはユーザー」という姿勢も、理解はできる。けれど、こういう事故は、設定画面の文言を読んだかどうかより、そこから先にどんな現実があるかをどれだけ想像できたかで決まってしまう。そこを期

AnthropicのAI chatbot「Claude」で、ユーザーの会話ログがネット検索で見える状態になっていた 問題の会話には、仕事の内容や個人情報が含まれていたものもあった 「共有」機能で作られたリンクが、検索エンジンに拾われて広く見つかる状態になっていた すでに検索表示は止まったが、スクリーンショットや転載は広まってしまった 似た問題はChatGPTやGrokでも起きていて、AI時代の「共有ボタン」は思った以上に重い AnthropicのAI chatbot「Claude」をめぐって、ちょっとぞっとするニュースが出ました。ユーザーが会話を「共有」したときにできるリンクが、検索エンジン経由で誰でも見られる状態になっていた、という話です。BBCによると、公開されていたのは数百件規模。しかも単なる雑談ではなく、履歴書、仕事の下書き、社内っぽい研究メモのような内容まで混じっていたそうです。 これ、何が嫌かというと、「自分で公開したつもりはないのに、結果としてかなり広く見えていた」という点です。しかもAI chatbotとの会話って、検索キーワードみたいに短い入力ではなく、つい事情を丸ご

Claudeの共有チャットが、GoogleやBingの検索結果に拾われていた——というのが今回の話です。 聞くだけでひやっとします。AIチャットって、個人のメモや仕事の下書き、ちょっとした相談を入れる場所になりがちなので、「共有したつもりの会話」が検索エンジン経由で広く見えるのは、かなりまずい匂いがします。 CNETによると、AnthropicのAIチャットサービス「Claude」で共有された会話が、検索エンジンでインデックスされていたそうです。 インデックスされる、というのは簡単に言うと「検索エンジンの検索対象として登録される」ことです。つまり、誰かがURLを知っていれば見られるだけでなく、検索して見つけられる状態になっていたわけです。 しかも問題は「ただの雑談」が見つかった、という程度ではありません。記事では、医療記録、個人情報、社内データ、露骨な内容まで含まれていたとされています。これはかなり重い。AIに相談する内容って、もともと人に見せたくないものが多いんですよね。そこが丸ごと検索結果に出るのは、冗談では済みません。 今回のポイントは、会話がもともとユーザーによって「共有」され

2,000人以上が参加し、6,000通超のメールでAIアシスタントを攻撃した 目的は、`secrets.env` という秘密情報ファイルの中身を漏らさせること 結果は、一度も漏えいなし。無断返信も成功しなかった ただし、実験中にGoogleのメールアカウント停止やAPI料金の増加など、運用面のトラブルはかなり起きた 著者は、AIエージェントに強い権限を持たせるのはまだ危ない、と考えている それでも、思っていたより prompt injection（指示のすり替え攻撃）に強かった、というのがこの実験の意外な結論 Fernando Irarrázavalさんが公開したのは、かなり実地っぽいセキュリティ実験です。 自作のAIアシスタント「Fiu」に、誰でもメールを送りつけられるようにして、なんとか秘密情報を吐かせようとする。いわば「AI相手の公開耐久テスト」ですね。 狙われたのは `secrets.env` の中身です。`.env` 系のファイルは、アプリのAPIキーやパスワードなどを入れることが多いので、漏れたら普通にまずい。そこをAIに読ませ、しかもメール返信機能まで使わせて、だ