#モデル評価

いちばん引っかかったのは、「done」と「correct」は別物だと、かなりはっきり言っているところだった。コードを最後まで書き切るAIが欲しい、というのはすごく自然な欲求だし、実際かなり魅力的に聞こえる。でも、終わったように見えるコードと、ちゃんと動いて意図どおりになっているコードの間には、まだ深い溝がある。この記事はそこをごまかさないので、むしろ好感が持てた。 今回の話で面白いのは、性能の話が「ベンチマークで少し上」みたいな単純な自慢に寄っていないことだと思う。全工程を通してコードを扱えるか、という見方に寄せているのがいい。現場では、最初の雛形を作るより、その後の修正、テスト、手戻りのほうがずっと面倒だからだ。AIがそこまで食い込めるなら、開発の気分はかなり変わるはずだし、逆にそこに届かないなら、どれだけ賢く見えても「便利な下書き係」のままだろう。 ただ、コストが40%低いという話も、単純に喜んでいいのか少し迷う。安いこと自体は歓迎だけれど、安いから使える場面が増える、とは限らない。コード生成の世界では、安く大量に出せることより、レビューの手間をどれだけ減らせるかのほうが効くはずで

Anthropic が自社モデルの失敗を、あとからかなり辛口に見直しているのが印象に残った。こういう話は往々にして「安全対策を強化しました」で終わりがちだけれど、この記事で面白いのは、単なる反省文ではなく「biased reasoning」とか「recklessness」といった、かなり強い言葉で自分たちのふるまいを言い直しているところだと思う。 特に引っかかったのは、「最初の検索では見つからなかった incident まで再評価の対象に入っていた」点。つまり、問題が起きたことよりも、問題の見つけ方そのものがまだ甘かった、という話でもある。AI の安全性って、モデルを止めるか許可するかの二択ではなくて、見逃しをどれだけ減らせるかの積み上げなんだろう。ここを雑にすると、外からは「安全そう」に見えても、内側では危ない挙動が残る。 もうひとつ感じたのは、Anthropic がここで自分たちのモデルに対して、かなり人間っぽい倫理語彙を当てていることだ。bias や recklessness という言葉は、普通は人間の判断ミスに使う。もちろんモデル自体に意志があるわけではない。でも、運用側がその