#benchmark

`tokenspeed` は、LLMの tokens-per-second（1秒あたりに出るtoken数） を「数字」ではなく「体感」で理解するためのツール `code` / `text` / `think` / `agent` の4モードがあり、出力内容によって「同じ速度でも速くも遅くも感じる」ことを見せてくれる 5 tok/s から 800 tok/s までのプリセットがあり、実際のモデル速度の感覚をつかみやすい tokenの数え方は各社の厳密なtokenizerではなく、BPE風の近似 「tok/sの数字は同じでも、コードと文章では体感がまるで違う」という点が、このツールの一番おもしろいところ LLMのベンチマークを見ていると、よく出てくるのが「47 tok/s」「180 tok/s」「500 tok/s」といった数字です。 でも正直、こういう数字ってピンと来にくいんですよね。 1秒に30 tokenって、速いの？ 遅いの？ 生活の中のどの感覚に近いの？ となりがちです。 そこで登場するのが `tokenspeed` です。 これは、LLMが出力する to

新しめの open-ish frontier model 3種を、実務寄りのコーディングベンチマークで比較した記事 対象は Kimi K2.6 / Qwen 3.6 Plus / DeepSeek v4 Pro 品質は3つともかなり高い が、総合では DeepSeek v4 Pro がいちばんバランス良好 Qwen 3.6 Plus は総合点は悪くないものの、Planner段階で gate failure が発生 コスト面では DeepSeek が有利。品質差が小さいなら、ここはかなり重要 結論としては、オープン寄りモデルにも十分勝負のチャンスはある、ただし「安いのに高品質」とはまだ言い切れない この記事は、「オープン寄りの frontier model は、閉じた closed-source model に対抗できるのか？」という、いまのAI界隈でかなり気になるテーマを実験で確かめたものです。 ここでいう frontier model は、最先端クラスの大規模AIモデルのこと。 closed-source model は