AIが作業する時代の、いちばん怖い事故
700GBのホームディレクトリを消した、という話を読むと、まず「怖い」のひと言しか出てこない。しかも相手が人間ではなく、ClaudeのようなAIエージェントらしいところが、余計にひっかかる。人間のミスなら、少なくとも「これは危ない」と手が止まる瞬間がある。でもAIは、もっともらしく動けてしまうぶん、止まるべき場面で止まらないことがあるのではないかと思う。 この手の事故で厄介なのは、単なる派手な失敗談で終わらないことだ。AIにターミナル操作やファイル操作を任せる流れは、もう現実に広がっている。だからこそ、「賢く見える」ことと「安全に扱える」ことは別物だと、こういう出来事は容赦なく突きつけてくる。プロンプトで丁寧に指示したとしても、権限の渡し方や確認の仕組みが甘ければ、最後は全部吹き飛ぶ。700GBという数字は大きすぎて、失う側の痛みが想像しやすい分、笑い話にしにくい。 それでも、こういう事故が表に出るのは無駄ではないと思う。AIを「便利な作業者」として使うなら、成功例より失敗例のほうが設計に効くからだ。少なくとも私は、AIに危険な操作をさせるなら、実行前確認、限定された権限、復元手段の3
papoo.work