#ベンチマーク

100%という数字は、正直かなり気持ちがいい。でもこの記事を読んで最初に思ったのは、そこに素直に拍手していいのか、という引っかかりだった。ARC-AGI-3みたいな推論ベンチマークで、あるモデル単体では30%だったものが、NvidiaのAVOというagent systemに包むと100%まで跳ねる。たしかに派手だし、デモとしては強い。でも同時に、「それはモデルが賢いのか、それとも外側の仕組みがうまく問題を解いたのか」は切り分けて見ないといけないと思う。 この手の話でいつも面白いのは、モデルの性能そのものよりも、周辺の設計がどれだけ結果を変えるかが露骨に見えるところだ。Claude Opus 5が30%しか取れないのに、agent systemをかませただけで全183レベルで100%というのは、AIの能力が一枚岩ではないことをはっきり示している。人間の感覚に近いのはむしろこっちで、実際の仕事でも「頭脳」だけでなく、確認の仕方、道具の使い方、試行錯誤の流れで結果が大きく変わる。だからこの結果自体は、単なる誇張として片づけるより、「推論はモデル単体ではなく実行系込みで測るべきだ」という方向に

読んでまず思ったのは、いちばん怖いのはモデルの失敗じゃなくて、失敗を数えている側の思い込みだな、ということだった。しかもこの話はかなり実務っぽい。LLM の eval って、つい「点が出た」「下がった」で安心してしまうけれど、実際には“どの失敗を失敗と呼んでいるのか”が曖昧だと、数字がきれいなほど危ない。 特に引っかかったのは、multi-step な作業を single-step の問題として採点してしまう部分だった。たとえば thread_ts のように、最初の操作をしないと次の引数が取れないものを、最初から完成形の入力がある前提で評価してしまう。これ、言われてみれば当たり前なのに、ベンチマークを作る側はけっこうやりがちだと思う。モデルが「まだ足りない」と判断して保留したのに、採点側はそれを不正解にしてしまう。つまり、慎重さが減点される。 もうひとつ面白かったのは、静的なチェックと LLM の eval が、別々の方法なのに同じところでつまずく、というくだりだ。名前の紛らわしい tool 同士があると、モデルも迷うし、静的ルールでも危ないと出る。ここはかなり気持ちいい発見で、安い静

この記事を読んで最初に思ったのは、これはベンチマーク記事というより「ベンチマークを雑にやると、たぶん簡単に自分たちをだませる」という警戒心の表明だな、ということだった。SREの調査支援ツールは、見た目が賢そうでも、実際に事故対応で役に立つかはかなり怪しい。しかも同じ質問でも答えがぶれる。だから、ただデモで気持ちよくなるのではなく、同じ条件を固定して、しかも答えを盲検で採点する、という発想はかなり筋がいいと思う。 特に引っかかったのは、合成データの作り方にかなり神経を使っている点だ。現実の障害っぽいノイズを入れつつ、わざと似たような別の異常も混ぜる。さらに、公開データセットをそのまま使うと学習済みの知識で当ててしまうかもしれないから、オリジナルのシナリオを作る。ここまでやると、ようやく「LLMが過去に見たパターンを思い出しているだけではない」と言えそうだし、逆に言うと、ここまでしないと評価がかなり怪しくなるのだろうと思った。 もう一つ面白かったのは、ClickHouseを直接SQLで触らせる方法より、ClickStack MCPのように「高レベルの観測用プリミティブ」を渡したほうが、単に

Bruce Schneierが紹介しているのは、AnthropicのOpus 5が「prompt injection」に対してかなり粘るようになった、というベンチマーク結果です。 IPI benchmarkでは、15回試したときの攻撃成功率が Opus 4.8 の 5.5% から 2.0% に低下しました。1回だけの試行でも 0.5% から 0.2% に下がっています。 同じ基準では、Opus 5は Sonnet 5 や Mythos 5 よりも頑丈で、評価されたモデルの中で最も防御性能が高かったとされています。 Claude系以外のモデルでは、最も頑丈だった Muse Spark でも15回以内の成功率は 16.5%。Opus 5の 2.0% と比べると、差はかなり大きいです。 ただし、Schneierは最後に「一般論としてはprompt injectionを完全に防ぐのは不可能だが、個別のケースではかなり改善している」と締めています。 Bruce Schneierの短い記事は、ほとんどベンチマークの数字だけで勝

DeepReinforceが公開した Ornith-1.0 は、ひとことで言うと「agentic coding」に特化したオープンソースのLLMファミリーです。 ここでいう *agentic coding* は、ただコードを1発で出すだけではなく、ターミナルを触ったり、テストを回したり、途中で試行錯誤しながら仕事を進めるタイプのコード生成を指します。実務の開発にかなり近い世界です。 面白いのは、このモデルが単に「賢いコード生成器」という話ではないところです。Ornith-1.0は、解法そのものだけでなく、解法を引き出すための“足場”まで自分で作るという発想を取っています。これはかなり野心的ですし、個人的にはかなり好きな方向性です。モデルに「どう考えるか」まで学ばせるわけで、いかにも次の世代っぽい。 Ornith-1.0は、agentic coding向けのオープンソースモデル群 サイズは 9B Dense から 397B MoE まで幅広い 中核アイデアは、人間が固定の実行枠組みを作るのではなく、モデル自身が枠組みを改善していくこと **

Semgrepは、IDOR（本来見えるべきでない他人のデータに触れてしまう脆弱性）を見つけるベンチマークで、いくつかのモデルを同じ条件で比較した その結果、open-weightモデルのGLM 5.2が、素のプロンプトだけでClaude Codeを上回った ただし、Semgrepの自社パイプラインは依然として強く、モデル単体の勝負とは別のレイヤーで性能を引き出している この記事の本質は「どのモデルが一番強いか」より、「ハーネス（周辺の仕組み）がどれだけ効くか」を切り分けた点にある open-weightは、社内環境で動かしやすいので、セキュリティ用途ではかなり魅力があると思う Semgrepのこの記事、AIモデルのランキング発表に見えて、実はかなり地味で重要な問いを突いています。 「脆弱性検出の性能って、モデルそのものの力なのか、それとも周辺の仕組みの力なのか？」という話です。 これ、地味ですがめちゃくちゃ大事です。 生成AIの世界では、つい「どのモデルが最強か」に目が行きがちです。でも実務では、モデル単体よりも、どうやってコードを読ませ、どこを見せ、どう検索させ、どう結果を整えるかの