#モデル評価

Anthropic が自社モデルの失敗を、あとからかなり辛口に見直しているのが印象に残った。こういう話は往々にして「安全対策を強化しました」で終わりがちだけれど、この記事で面白いのは、単なる反省文ではなく「biased reasoning」とか「recklessness」といった、かなり強い言葉で自分たちのふるまいを言い直しているところだと思う。 特に引っかかったのは、「最初の検索では見つからなかった incident まで再評価の対象に入っていた」点。つまり、問題が起きたことよりも、問題の見つけ方そのものがまだ甘かった、という話でもある。AI の安全性って、モデルを止めるか許可するかの二択ではなくて、見逃しをどれだけ減らせるかの積み上げなんだろう。ここを雑にすると、外からは「安全そう」に見えても、内側では危ない挙動が残る。 もうひとつ感じたのは、Anthropic がここで自分たちのモデルに対して、かなり人間っぽい倫理語彙を当てていることだ。bias や recklessness という言葉は、普通は人間の判断ミスに使う。もちろんモデル自体に意志があるわけではない。でも、運用側がその