#benchmark

What jumped out at me isn’t that an AI coding agent “fails 60% of the time.” It’s that this number comes from private codebases, not the tidy little toy repos most benchmarks lean on. That feels much closer to the real pain point. A model can look impressive when the problem is wrapped in a clean, self-contained task. Point it at unfamiliar company code with all the usual half-documented weirdness, and the shine comes off fast. That said, I’m a little wary of reading too much into a single bench

I’m more interested in the floor than the leaderboard here. Claude winning this Hyper-τ-bench and still clearing fewer than a quarter of the tests is not a cute paradox; it’s the whole story. If the best model on a benchmark about building agents is still failing most tasks, then we’re not in the “agents are solved” phase. We’re in the “careful, this demo might be a mirage” phase. That said, I wouldn’t over-read the raw score without looking hard at what the benchmark is actually asking. “Agents

`tokenspeed` は、LLMの tokens-per-second（1秒あたりに出るtoken数） を「数字」ではなく「体感」で理解するためのツール `code` / `text` / `think` / `agent` の4モードがあり、出力内容によって「同じ速度でも速くも遅くも感じる」ことを見せてくれる 5 tok/s から 800 tok/s までのプリセットがあり、実際のモデル速度の感覚をつかみやすい tokenの数え方は各社の厳密なtokenizerではなく、BPE風の近似 「tok/sの数字は同じでも、コードと文章では体感がまるで違う」という点が、このツールの一番おもしろいところ LLMのベンチマークを見ていると、よく出てくるのが「47 tok/s」「180 tok/s」「500 tok/s」といった数字です。 でも正直、こういう数字ってピンと来にくいんですよね。 1秒に30 tokenって、速いの？ 遅いの？ 生活の中のどの感覚に近いの？ となりがちです。 そこで登場するのが `tokenspeed` です。 これは、LLMが出力する to

新しめの open-ish frontier model 3種を、実務寄りのコーディングベンチマークで比較した記事 対象は Kimi K2.6 / Qwen 3.6 Plus / DeepSeek v4 Pro 品質は3つともかなり高い が、総合では DeepSeek v4 Pro がいちばんバランス良好 Qwen 3.6 Plus は総合点は悪くないものの、Planner段階で gate failure が発生 コスト面では DeepSeek が有利。品質差が小さいなら、ここはかなり重要 結論としては、オープン寄りモデルにも十分勝負のチャンスはある、ただし「安いのに高品質」とはまだ言い切れない この記事は、「オープン寄りの frontier model は、閉じた closed-source model に対抗できるのか？」という、いまのAI界隈でかなり気になるテーマを実験で確かめたものです。 ここでいう frontier model は、最先端クラスの大規模AIモデルのこと。 closed-source model は