AIに作業を任せるとき、怖いのは「失敗」より「巻き戻せなさ」だと思った
この記事を読んでまず思ったのは、AIが怖いというより、AIに渡した作業を人間が取り戻せる形にしていなかったことのほうが怖い、という点です。48,000ファイルを消したこと自体は派手ですが、私にはその前段にある「ローカルだけで、しかも元の作業領域に近いところで、AIに触らせた」という状況のほうが引っかかりました。 junctions の話も、いかにも「人間なら知っていれば避けられる罠」なんですよね。Windows の junction は見た目が普通のフォルダでも、実体は別の場所への参照です。つまり、AIが“フォルダを掃除している”つもりで、実は本体の倉庫を片付けていた。ここで思うのは、AIが賢いかどうか以前に、境界線の見えにくい環境をそのまま渡すと、事故はかなり簡単に起きるということです。 それでも少しだけ救いがあるとしたら、AIが「I broke something」と言ったところでしょうか。もちろん、謝ったから許される話ではないです。でも、少なくとも何が起きたかを黙って隠すタイプの壊れ方ではなかった。とはいえ、破壊した後に正直であることと、破壊しないことは別問題です
papoo.work