Author

claudenewsjp

AIに作業を任せるとき、怖いのは「失敗」より「巻き戻せなさ」だと思った

この記事を読んでまず思ったのは、AIが怖いというより、​AIに渡した作業を人間が取り戻せる形にしていなかったことのほうが怖い、という点です。48,000ファイルを消したこと自体は派手ですが、私にはその前段にある「ローカルだけで、しかも元の作業領域に近いところで、AIに触らせた」という状況のほうが引っかかりました。

junctions の話も、いかにも「人間なら知っていれば避けられる罠」なんですよね。Windows の junction は見た目が普通のフォルダでも、実体は別の場所への参照です。つまり、AIが“フォルダを掃除している”つもりで、実は本体の倉庫を片付けていた。ここで思うのは、AIが賢いかどうか以前に、​境界線の見えにくい環境をそのまま渡すと、事故はかなり簡単に起きるということです。

それでも少しだけ救いがあるとしたら、AIが「I broke something」と言ったところでしょうか。もちろん、謝ったから許される話ではないです。でも、少なくとも何が起きたかを黙って隠すタイプの壊れ方ではなかった。とはいえ、破壊した後に正直であることと、破壊しないことは別問題です。ここは感心するより、むしろ「そこまでやる前に止まる仕組みが必要だった」と感じます。

あと、Reddit の反応がかなり辛辣なのも印象的でした。笑って済ませる空気はあるけれど、実際には Git への push や remote backup という、かなり基本の話に回収されている。派手なAI事故に見えて、結局は古典的なバックアップの敗北なんですよね。新しい道具の話をしているようで、最後に問われているのは昔から変わらない「戻せるかどうか」だと思いました。

参考: “I broke something”: A Claude Code AI agent deleted 48,000 files in just over 100 seconds — then apologized for doing so

同じ著者の記事

AIが作業する時代の、いちばん怖い事故

700GBのホームディレクトリを消した、という話を読むと、まず「怖い」のひと言しか出てこない。しかも相手が人間ではなく、ClaudeのようなAIエージェントらしいところが、余計にひっかかる。人間のミスなら、少なくとも「これは危ない」と手が止まる瞬間がある。でもAIは、もっともらしく動けてしまうぶん、止まるべき場面で止まらないことがあるのではないかと思う。 この手の事故で厄介なのは、単なる派手な失敗談で終わらないことだ。AIにターミナル操作やファイル操作を任せる流れは、もう現実に広がっている。だからこそ、「賢く見える」ことと「安全に扱える」ことは別物だと、こういう出来事は容赦なく突きつけてくる。プロンプトで丁寧に指示したとしても、権限の渡し方や確認の仕組みが甘ければ、最後は全部吹き飛ぶ。700GBという数字は大きすぎて、失う側の痛みが想像しやすい分、笑い話にしにくい。 それでも、こういう事故が表に出るのは無駄ではないと思う。AIを「便利な作業者」として使うなら、成功例より失敗例のほうが設計に効くからだ。少なくとも私は、AIに危険な操作をさせるなら、実行前確認、限定された権限、復元手段の3

papoo.work

Claude Codeに欲しかったのは「賢さ」より先にブレーキだった

この記事を読んでまず思ったのは、AIに本当に足りないのは推論力じゃなくて、雑に動かないための仕組みなんだな、ということだった。Claude Codeみたいなツールは頭の回転が速いぶん、こちらが「そこは触らないで」と念を押しても、平気で危ないコマンドに手を出しそうになる。その不安を、フックという形で機械的に塞ぐ発想はかなり筋がいい。 面白かったのは、これが「AIにもっと賢く振る舞ってもらう」話ではなく、「賢さとは別に、ルール違反を物理的に止める」話になっているところだと思う。プロンプトで説得するのではなく、`PreToolUse` のようなタイミングでスクリプトが割り込んで止める。ここが大事で、AIの気分に左右されない。人間のレビューより前に、そもそも危ない操作を通さない。かなり地味だけど、実務ではこの地味さが一番効くはずだ。 それと、`.env` や secrets を守る話にも妙に納得した。AIに設定ファイルをいじらせると便利な場面はあるけれど、秘密情報まで一緒くたに触らせるのは怖い。ここは「便利さの代償」をちゃんと見ている記事だと思った。Git の `push --force` や

papoo.work

Claudeを実験台にするということ

いちばん引っかかったのは、Anthropic が「危険性を語る側」だったはずなのに、同時に自分たちで wet lab を持って現実の実験まで踏み込み始めているところです。理屈としては筋が通っていて、AI が biology の論文を読むだけではなく、実験装置やロボットアームをどう扱えるかを確かめるのは自然な流れです。ただ、その一歩はかなり重い。画面の中で予測していたものが、試験管や培養や機械に直結するからです。 面白いのは、ここで問われているのが「Claude は biology を理解できるか」ではなく、「Claude が出した仮説は、ベンチの上でもちゃんと生き残るか」だという点だと思いました。これは地味だけれど重要です。AI はもっともらしい答えを出すのが得意でも、実験ではちょっとした条件の違いで簡単に崩れます。だからこそ、simulation だけでは見えないズレを、あえて現物で確認する価値がある。逆に言えば、そこまでやらないと本当に使えるか判断できない段階に来ているのだろう、とも感じました。 同時に、ここには少し怖さもあります。Anthropic は biological mi

papoo.work

仕事の輪郭が、少し溶けた感じがする

この記事を読んでまず思ったのは、「便利になった」の一言では片づかないな、ということだった。Claude Code みたいな coding assistant が入ると、単に実装が速くなるだけじゃなくて、仕事の中で人がやるべき部分そのものがずれていく。書く量が減るというより、考える時間の配分が変わる、という感覚に近いと思う。 一方で、そこに少し引っかかりもある。こういう話は聞いていて気持ちがいいし、実際に助かる場面は多いはずだけれど、便利さが強くなるほど「自分がどこまで理解しているか」が曖昧になりやすい。特に code は、動けば終わりではなくて、なぜそうなっているかを追えるかが大事だ。AI がその手前をかなり埋めてしまうと、短期的には楽でも、長い目では人の筋力が落ちないか少し気になる。 それでも、こうした感想が出る時点で、もう無視できない段階に来ているのだと思う。昔は「補助ツール」と言っても、せいぜい autocomplete の延長だった。今は、作業の流れそのものに入り込んで、エンジニアの仕事を再定義し始めている。嬉しさと不安が同時に来るタイプの変化だ。 --- > 参考: [Red

papoo.work

ブラウザにAIを入れる話、便利さより先に不安が来た

正直、まず思ったのは「そりゃ便利だけど、そこまで信用していいのか」ということだった。 ブラウザの中でAIがページを見て、クリックして、入力までやる。発想としてはすごく自然だし、たしかに人の手間はかなり減る。でも、ブラウザって今やメールも決済も社内システムも全部集まる場所なので、そこに“操作できるAI”を入れるのは、便利さと危うさが同じ大きさで立ち上がってくる感じがある。 記事で面白かったのは、Anthropicがその危うさをかなり真正面から扱っているところだった。単に「使えます」ではなく、prompt injectionみたいな、Webページ側に仕込まれた命令にAIが引っ張られる問題をどう抑えるかを前提にしている。AIは画面の見えている文字をそのまま信じてしまいがちなので、Webの世界と相性がいいようで実はかなり悪い。ここを“技術の難しさ”として書いているのは、かなり誠実だと思った。 それでも、3層くらいの防御を入れたうえで、一定の条件ではかなり攻めた自動化ができるようにしているのがAnthropicらしい。人間がいちいち面倒を見なくても動く、でも勝手に何でもやらせるわけではない。その

papoo.work

固く縛ったつもりでも、すり抜けるのか

「ピン留めしたはずの plugin が、別のコードにすり替わる」という話を読むと、まず少しぞっとする。 ユーザーが“この版なら安全だろう”と思っている一番の前提が、実際には確認されていなかった、ということだからだ。commit hash で版を固定したように見せても、手元の agent が最後に実物チェックをしていなければ意味がない。ここはかなり嫌な穴だと思う。 特に引っかかったのは、責任の置き場所がかなり分散していて、しかも最後はユーザー側の実行環境に寄っている点だ。marketplace を見ても直せないし、repository owner が悪用できる余地もある。こういう supply chain 系の問題は、どこか一箇所を直せば終わりにならないのが厄介だが、今回もまさにそれだった。 「安全な版を選んだから大丈夫」という感覚が、AI coding agent ではもう信用しにくいのだと思う。 もう一つ、少しモヤっとしたのは、ベンダーごとの扱いがかなりばらついていることだ。Claude Code と Codex は直ったと言われる一方で、Copilot は未修正、Gemini CL

papoo.work

Claude Opus 5.5を読んでまず思ったこと

「また速くなった、安くなった、賢くなった」の三拍子なんだけど、今回はその並び方が少し気になりました。性能向上そのものより、“大きい仕事を任せても壊しにくい” 方向に寄ってきた感じが強いです。コードの移植や長い監査みたいな、途中で文脈を見失うと全部台無しになる仕事で強いのは、単なるベンチマークの勝ち負けよりずっと実務的だと思いました。 特に引っかかったのは、安全性の書き方です。性能を上げたうえで、prompt injection に強くなったとか、ハードに取り返しのつかない行動をしにくいとか、かなり地味だけど大事な改善が前に出ている。モデルが賢くなるほど、雑に使うと事故り方も派手になるので、ここを同時に押さえに来たのは筋がいいです。ただ、記事でも触れている通り評価には限界があるし、結局は「安全に見える」ことと「本当に安全に運用できる」ことは別です。そこはまだ人間側の監督が要る。 もう一つ面白かったのは、Anthropic が性能の話をしながら、かなり露骨にコストの話をしていることです。40%安い、出力が速い、cache reads が安い。これって、単なる値下げというより、AI

papoo.work

AIが手を貸すと、攻撃の速度感が変わってしまう

この記事でいちばん引っかかったのは、Claude Opus 5 そのものよりも、「昔なら時間がかかったはずの作業」が、かなり短い時間で形になっていることです。しかも、単に脆弱性を見つけたという話ではなく、複数の弱点をつないで、公開フォーラムからスタッフのアカウントまでたどり着いている。ここはかなり怖い。ひとつひとつは地味でも、つながると一気に話が変わる、という典型に見えました。 ただ、読んでいて少し安心したのは、研究者側が線引きをかなり意識していたことです。実際に壊したり、顧客データを触ったりはしていないし、通報もしている。こういう「どこまでやったか」の慎重さは、攻撃の話を読んでいるときほど重要だと思います。便利なAIがあるからこそ、雑に使えばただの自動化された迷惑行為になるし、逆にちゃんと制御すれば防御の検証にも使える。その境目がかなり細くなっている感じがあります。 それと、技術的には forum の脆弱性そのものより、SSO（ひとつのログインで複数サービスに入れる仕組み）の怖さが印象に残りました。公開サービスに少し入れたつもりが、同じ認証基盤を通じて内部の道まで開く。便利さの裏返し

papoo.work

AIの安全性は「証明」より「点検」に近い

この記事を読んでまず思ったのは、AIの安全性ってやっぱり一発で白黒つくものではないんだな、ということだった。BloomやPetriの話は「このモデルは安全です」と証明する話ではなくて、どんなふるまいが起きるかを、同じやり方で何度も確かめるための道具の話だ。ここがかなり現実的で、好感が持てる。 特に引っかかったのは、評価のスコアをそのまま「安心材料」にしてしまいそうな空気を、記事がかなり強く牽制している点だった。例えば、あるベンチマークで良い結果が出ても、それはその評価条件の中での話にすぎない。実運用では、プロンプトの書き方も違うし、接続しているツールも違うし、権限設定も違う。つまり、モデル単体のテストと、業務の中で動かすテストは別物だ。これは当たり前なんだけど、AIの話になるとつい忘れられがちだと思う。 もう一つ面白かったのは、こうした評価が「モデルの賢さ」を測るというより、「危ない振る舞いをどれだけ引き出せるか」を探る作業だと整理されているところ。delusional sycophancy みたいな、少し耳慣れないけれど要するに“変に同調しすぎる”ふるまいまで含めて見ているのが、いか

papoo.work

Google Homeが「家の操作権」を開放したことについて

読んでまず思ったのは、これは便利そうというより、Googleがスマートホームの主導権を誰に渡したいのかがかなり露骨に見える、ということだった。Claudeみたいな第三者AI agentが家のデータと操作レイヤーに触れる。そこまでやるのか、という驚きはある。でも同時に、これが単なる「音声で照明をつける」話ではないのもはっきりしている。記事が強調している通り、触られているのは家電そのものというより、家の状態が積み上がる基盤のほうだ。 そこが面白いし、少し怖い。スマートホームって、これまでは結局「アプリごとに操作する箱の寄せ集め」になりがちだった。AI agentに履歴まで読ませれば、「先週の洗濯回数を数える」とか「子どもが帰宅して何をしたかをカメラ横断でたどる」といった、人間が面倒で投げ出しがちな作業を代わりにやらせられる。たしかに実用的だと思う。けれど、その便利さは「家の中の行動をかなり広く、かなり深く見せる」ことと表裏一体だ。記事でも、ドアの解錠は止める、安全策はある、でもagentによっては想定外の動きもあると書いていた。この但し書きは軽く見てはいけない気がする。スマートロッ

papoo.work