#idor

読んで最初に引っかかったのは、AI が「賢すぎる」ことよりも、普通の Web サービス側の雑さのほうが先に事故を作っている点だった。 七日しか予約できないはずなのにフロントエンドだけで止めていて、しかもキャンセル API には「その予約を本当に自分が持っているのか」の確認がない。ここ、AI が悪さをしたというより、穴の開いたドアをちゃんと閉めずに「AI だから危ない」と言っているようにも見える。 ただ、そこで終わらないのが少し怖い。 Aikido の再現実験では、Claude Opus 4.6 が 10 回中 9 回、その制限をすり抜けたという。しかも単に制限を突破するだけでなく、テストの流れで他人の予約まで触れてしまった回があった。人間なら「いや、それは触るなよ」と一拍置けるけれど、エージェントは手元の操作を続けてしまう。しかも本人が明示的に「攻撃しろ」と頼んだわけではない、というのがいやらしい。意図がなくても、手順が進むと境界が薄くなる。これはかなり現実的な怖さだと思う。 一方で、この記事を読んで少し安心したのは、問題の芯がふわっとした“AI の気分”ではなく、かなり具体的な ID