#ベンチマーク

Cognitionが、新しいコーディングモデル「SWE-2」を公開した。単に精度を上げたという話ではなく、推論にどれだけ時間やコストをかけるかという“使い勝手”まで含めて改善した、というのがこの記事の肝だ。人がコードを書くときと同じで、何でもかんでも深掘りすればよいわけではない。SWE-2は、その線引きをモデル側でうまくやれるようにした、とCognitionは主張している。今回はその中身と、そこにどこまで意味があるのかを見ていく。 CognitionはSWE-2を「これまでで最も高度なcoding model」と位置づけている。狙いは、能力とコストの両方を見たときの“Pareto frontier”を押し広げることだ。Pareto frontierとは、性能を上げようとするとコストが上がり、コストを下げようとすると性能が落ちる、というトレードオフの境界を指す。SWE-2はその境界上で、より安く、あるいはより高性能に動ける点を増やしたという説明になっている。 同社によれば、SWE-2はFrontierCode 1.1 Mainで50.0%を記録した。これはFable 5.1に1ポイント以

オープンモデルの出力が、別のモデルの「考え方」にどれだけ引っ張られるのかを確かめた短い実験が出てきた。題材は一見地味だが、モデル同士の学習のつながりを探るうえではかなり示唆がある。しかも今回は、教師役に GPT-5.5 Pro を使い、以前の実験と比べてどのモデルがどちら方向に寄るのかを見直している。単なるベンチマークではなく、「どのモデルが誰の影響を受けたのか」を探る話として読むと面白い。 元記事は、`reasoning-prefill-1-1.md` という Gist に置かれた実験メモだ。タイトルにある “Reasoning prefills on a few open models, v1.1” の通り、いくつかのオープンモデルに対して「推論の書き出し部分を先に与える」と、回答の見え方がどう変わるかを調べている。ここでいう reasoning prefill は、モデルが答えを出す前の“考える途中”の文面を、別のモデルから少しだけ差し込むやり方だ。今回はその教師を GPT-5.5 Pro に変えて、前回の実験をもう一度回した。 実験の手順はこうだ。各問題について、対象モデルには

OpenAIのGPT-6 Astraをめぐって、モデル性能そのものだけでなく、その内部で何をしているのかにも注目が集まっている。Sebastian Raschka氏は、Astraの初期印象、looped transformersと呼ばれる構造、そして「推論の途中経過を隠しているのではないか」という噂を同じ記事の中で追っている。新モデルの実力を眺めるだけでなく、近ごろのLLMがどこへ向かっているのかを読む材料として面白い内容だ。とくに、computer use と reasoning の関係をどう見るかは、今後のモデル設計を考えるうえでかなり示唆的だと思う。 Raschka氏はまず、OpenAIが公開したGPT-6 Astraをここ数日使ってみて、これまで触った中で最良クラスのモデルだと書いている。ただし、単に「賢い」と言って終わらせず、どの領域で伸びたのかを細かく見ているのがこの文章の中心だ。Astraは、文章生成、数学、coding などほぼ全カテゴリで前モデルのGPT-5.6を上回り、とくに3D rendering と animation のようなグラフィカルな作業で目立って強いと

「Claudeが一番良かった」という見出しだけ見ると、AIエージェント開発の道具立てはもうかなり整ってきたのかな、と思ってしまう。けれど、本文を読むと全然そんな話ではなくて、むしろ“まだかなり厳しい”という感触のほうが強かった。ベンチマークでトップでも、合格率が4分の1未満というのは、期待値をかなり下げて見ないといけない数字だと思う。 ここで面白いのは、評価の対象が単なるチャットではなく、「agent that build agents」だという点だ。つまり、AIにコードを書かせるだけでなく、そのAIが別のAIを組み立てたり調整したりする世界を測ろうとしている。発想としてはすごく今っぽいし、実運用に近づけようとしている感じもある。ただ、だからこそ失敗が目立つのだろう。賢い文章を返す能力と、複雑な仕組みを壊さずに作る能力は、やっぱり別物なんだなと感じる。 それと、こういうベンチマークは「勝ったモデル名」よりも、「まだ何ができていないか」を見るほうが大事だと思う。4分の1未満という結果は、AIエージェントを本番の開発作業にそのまま置くにはまだ怖い、という空気をはっきり示している。楽観的な宣

ローカルLLMを動かすとき、どこまで圧縮しても実用に耐えるのかは切実な問題です。GPUメモリは限られていますし、モデルを小さくしたい気持ちは強い一方で、精度が落ちすぎれば意味がありません。QuesmaのPiotr Migdał氏は、Qwen3.8 27Bの複数のquantizationを実測し、その境界線をベンチマークで確かめました。結果はかなりはっきりしていて、4bitは驚くほど健闘し、1bitは一気に崩れます。 元記事で扱っているのは、Qwen3.8 27BのGGUF量子化版です。著者はUnslothがHugging Faceで配布しているものを使い、8bitのQ8_0、4bitのQ4_K_M、2bitのUD-Q2_K_XL、そして最小の1bitであるUD-IQ1_Sを比較しました。フルのBF16モデルは55GBあり、一般的なコンシューマーGPUには重すぎますが、Q4_K_Mは17GBに収まり、RTX 4090の24GB級カードでも動かせるとしています。 検証にはllama.cppを使い、GPQA Diamond、IFBench、Terminal-Bench 2.1の3つを回しまし

Claude Fable 5.1 と Claude Mythos 5.1 のベンチマークが話題になっている、という空気だけは伝わってきたのに、肝心の本文がほぼ見えないのが逆に引っかかった。Reddit ってこういうことがある。タイトルだけが先に独り歩きして、「どっちが勝った」「どれだけ伸びた」といった断片だけで盛り上がる。でも、ベンチマークは数字の見せ方次第で印象がかなり変わるので、私はそこにあまり飛びつけない。 特に気になるのは、こういう話題だと「性能が上がった」という一点だけで雑に語られがちなことだと思う。ベンチマークは便利だけれど、実際の使い勝手とはズレることがある。速いのか、賢いのか、長文に強いのか、安定しているのか。ひとまとめにしないで見ないと、数字だけ良く見えるモデルをありがたがることになる。記事自体の中身が読めないぶん断定はできないが、少なくともこの手の投稿を見るたびに、「そのベンチマークで何を測っているのか」を先に疑う癖は必要だなと思う。 --- > 参考: [Reddit](https://www.reddit.com/r/artificial/comments/1w

OpenAIがGPT-6 AstraでKiCad上の回路設計デモを見せたことで、AIに電子回路を任せる話が一段現実味を帯びてきた。EEBenchは、その「それっぽく見える」デモが本当に使える設計なのかを測るための仕組みを公開している。単に回路図を描けるかではなく、制約を満たし、シミュレーションに通り、しかも現実の部品条件でも破綻しないかまで見るのが肝だ。この記事は、そのベンチマークの狙いと、今のモデルがどこまで来ているかをまとめたものだ。 元記事の中心にあるのは、AIが回路基板を作れるかどうかを、見た目ではなく結果で判定しようという話だ。EEBenchのチームは、OpenAIの発表でGPT-6 AstraがKiCad上で回路ボードを扱うデモを見て、電子工作が大きなモデル発表に入ってきたことを面白い変化だと受け止めている。ただし、そこからすぐに「AIにスマホ一式を一発で作らせられる」段階ではないとも言う。だからこそ、生成された電子回路が本当に良いものかを測る方法が必要になる。 その答えとしてEEBenchは、GUIをマウスで操作させるよりも、宣言的コードで回路を表す atopile を使

OpenRouterに、OpenAIの新しいフラッグシップモデル「GPT-6 Astra」の案内ページが載った。単に新モデルが追加されたという話ではなく、価格、コンテキスト長、出力上限、提供プロバイダー数、そして第三者ベンチマークまで一緒に並んでいるのが目を引く。大規模モデルの競争が、単純な性能比べから「実運用でどれだけ安定して使えるか」に移っていることがよく見える。とくに今回は、OpenRouterが得意とするマルチプロバイダー配信の文脈と強く結びついているのが面白い。 OpenRouterのページでは、GPT-6 Astraを「OpenAIのフラッグシップモデル」と位置づけている。用途として挙げられているのは、advanced analysis、software engineering、deep research、scientific work、document creation で、とくに computer や browser を使う long-horizon agentic tasks に強いとしている。要するに、短い応答を返すだけのモデルではなく、ツールを使いながら長い手順を

AIの能力が伸びたとき、その裏で何が効いたのかを追うのは面白い。Mithil Vakdeの新しい投稿は、ARC-AGI-1という難問ベンチマークで、小さなTransformerをゼロから学習させて44%を出した話だ。しかも計算コストは67セントだという。数字だけ見ると派手だが、中身はかなり実験臭い。だからこそ、単なる「高得点報告」ではなく、どこをいじると効くのか、何を削ると落ちるのかまで見ておく価値がある。 本人の説明では、これはARC-AGIに関する3本目のブログで、前回より速く、安く、それでいてオープンソースのまま性能を上げたアップデート版だという。使ったのは小さなTransformerで、5090上で1.5時間学習させた。ARC-AGI-1のpublic evalで44%、ARC-2では7%を出したと書いている。比較対象は、test time trainingを行う系統のモデルに絞っている。 手法の骨格はシンプルだ。各input-output pairをトークン列に変換し、その列をTransformerで自己回帰的に学習する。学習はtest timeに行い、train setだけ

100%という数字は、正直かなり気持ちがいい。でもこの記事を読んで最初に思ったのは、そこに素直に拍手していいのか、という引っかかりだった。ARC-AGI-3みたいな推論ベンチマークで、あるモデル単体では30%だったものが、NvidiaのAVOというagent systemに包むと100%まで跳ねる。たしかに派手だし、デモとしては強い。でも同時に、「それはモデルが賢いのか、それとも外側の仕組みがうまく問題を解いたのか」は切り分けて見ないといけないと思う。 この手の話でいつも面白いのは、モデルの性能そのものよりも、周辺の設計がどれだけ結果を変えるかが露骨に見えるところだ。Claude Opus 5が30%しか取れないのに、agent systemをかませただけで全183レベルで100%というのは、AIの能力が一枚岩ではないことをはっきり示している。人間の感覚に近いのはむしろこっちで、実際の仕事でも「頭脳」だけでなく、確認の仕方、道具の使い方、試行錯誤の流れで結果が大きく変わる。だからこの結果自体は、単なる誇張として片づけるより、「推論はモデル単体ではなく実行系込みで測るべきだ」という方向に

読んでまず思ったのは、いちばん怖いのはモデルの失敗じゃなくて、失敗を数えている側の思い込みだな、ということだった。しかもこの話はかなり実務っぽい。LLM の eval って、つい「点が出た」「下がった」で安心してしまうけれど、実際には“どの失敗を失敗と呼んでいるのか”が曖昧だと、数字がきれいなほど危ない。 特に引っかかったのは、multi-step な作業を single-step の問題として採点してしまう部分だった。たとえば thread_ts のように、最初の操作をしないと次の引数が取れないものを、最初から完成形の入力がある前提で評価してしまう。これ、言われてみれば当たり前なのに、ベンチマークを作る側はけっこうやりがちだと思う。モデルが「まだ足りない」と判断して保留したのに、採点側はそれを不正解にしてしまう。つまり、慎重さが減点される。 もうひとつ面白かったのは、静的なチェックと LLM の eval が、別々の方法なのに同じところでつまずく、というくだりだ。名前の紛らわしい tool 同士があると、モデルも迷うし、静的ルールでも危ないと出る。ここはかなり気持ちいい発見で、安い静

この記事を読んで最初に思ったのは、これはベンチマーク記事というより「ベンチマークを雑にやると、たぶん簡単に自分たちをだませる」という警戒心の表明だな、ということだった。SREの調査支援ツールは、見た目が賢そうでも、実際に事故対応で役に立つかはかなり怪しい。しかも同じ質問でも答えがぶれる。だから、ただデモで気持ちよくなるのではなく、同じ条件を固定して、しかも答えを盲検で採点する、という発想はかなり筋がいいと思う。 特に引っかかったのは、合成データの作り方にかなり神経を使っている点だ。現実の障害っぽいノイズを入れつつ、わざと似たような別の異常も混ぜる。さらに、公開データセットをそのまま使うと学習済みの知識で当ててしまうかもしれないから、オリジナルのシナリオを作る。ここまでやると、ようやく「LLMが過去に見たパターンを思い出しているだけではない」と言えそうだし、逆に言うと、ここまでしないと評価がかなり怪しくなるのだろうと思った。 もう一つ面白かったのは、ClickHouseを直接SQLで触らせる方法より、ClickStack MCPのように「高レベルの観測用プリミティブ」を渡したほうが、単に

Bruce Schneierが紹介しているのは、AnthropicのOpus 5が「prompt injection」に対してかなり粘るようになった、というベンチマーク結果です。 IPI benchmarkでは、15回試したときの攻撃成功率が Opus 4.8 の 5.5% から 2.0% に低下しました。1回だけの試行でも 0.5% から 0.2% に下がっています。 同じ基準では、Opus 5は Sonnet 5 や Mythos 5 よりも頑丈で、評価されたモデルの中で最も防御性能が高かったとされています。 Claude系以外のモデルでは、最も頑丈だった Muse Spark でも15回以内の成功率は 16.5%。Opus 5の 2.0% と比べると、差はかなり大きいです。 ただし、Schneierは最後に「一般論としてはprompt injectionを完全に防ぐのは不可能だが、個別のケースではかなり改善している」と締めています。 Bruce Schneierの短い記事は、ほとんどベンチマークの数字だけで勝

DeepReinforceが公開した Ornith-1.0 は、ひとことで言うと「agentic coding」に特化したオープンソースのLLMファミリーです。 ここでいう *agentic coding* は、ただコードを1発で出すだけではなく、ターミナルを触ったり、テストを回したり、途中で試行錯誤しながら仕事を進めるタイプのコード生成を指します。実務の開発にかなり近い世界です。 面白いのは、このモデルが単に「賢いコード生成器」という話ではないところです。Ornith-1.0は、解法そのものだけでなく、解法を引き出すための“足場”まで自分で作るという発想を取っています。これはかなり野心的ですし、個人的にはかなり好きな方向性です。モデルに「どう考えるか」まで学ばせるわけで、いかにも次の世代っぽい。 Ornith-1.0は、agentic coding向けのオープンソースモデル群 サイズは 9B Dense から 397B MoE まで幅広い 中核アイデアは、人間が固定の実行枠組みを作るのではなく、モデル自身が枠組みを改善していくこと **

Semgrepは、IDOR（本来見えるべきでない他人のデータに触れてしまう脆弱性）を見つけるベンチマークで、いくつかのモデルを同じ条件で比較した その結果、open-weightモデルのGLM 5.2が、素のプロンプトだけでClaude Codeを上回った ただし、Semgrepの自社パイプラインは依然として強く、モデル単体の勝負とは別のレイヤーで性能を引き出している この記事の本質は「どのモデルが一番強いか」より、「ハーネス（周辺の仕組み）がどれだけ効くか」を切り分けた点にある open-weightは、社内環境で動かしやすいので、セキュリティ用途ではかなり魅力があると思う Semgrepのこの記事、AIモデルのランキング発表に見えて、実はかなり地味で重要な問いを突いています。 「脆弱性検出の性能って、モデルそのものの力なのか、それとも周辺の仕組みの力なのか？」という話です。 これ、地味ですがめちゃくちゃ大事です。 生成AIの世界では、つい「どのモデルが最強か」に目が行きがちです。でも実務では、モデル単体よりも、どうやってコードを読ませ、どこを見せ、どう検索させ、どう結果を整えるかの