PaPoo
cover

ベンチマークより、手元の仕事を見ろという話

読んでまず思ったのは、「そりゃそうだよな、でもみんなそこを飛ばしがちだよな」ということだった。Claude Code と Cursor のどちらがいいかを、機能表や単発の benchmark だけで決めるのは、かなり危うい。記事が言うように、同じくらいの差が逆方向にも出るなら、その数字はツールの優劣というより、仕事の種類と人の使い方を映しているだけだと思う。

この手の比較でいちばん厄介なのは、見栄えのいい数字が「それっぽい答え」に見えてしまうことだ。token が少ないほうが勝ち、みたいな話は分かりやすい。でも実際には、1行の修正と、複数ファイルをまたぐ refactor では、欲しいものがまったく違う。editor の中で細かく見ながら進めたいなら Cursor のほうが気持ちいいし、terminal でまとめて任せたいなら Claude Code のほうが自然、という整理のほうがずっと実感に近い。ここを「どっちが強いか」に潰してしまうと、現場では使いにくい判断になる。

あと、この記事でいちばん納得したのは「cost per task ではなく cost per successful outcome を見ろ」という点だった。AI ツールは、安く試せることが価値じゃない。最終的にちゃんと merge されて、手戻りが少ないことのほうが大事だし、人間がどれだけ見張る必要があるかまで含めないと、ほんとうのコストは見えない。そこを benchmark がほぼ見ていない、という指摘はかなり痛い。便利なはずの比較が、いちばん大事なところを外している。

一方で、記事は「両方使え」で終わらせず、実際のチームなら task type ごとに振り分けろ、とかなり現実的だった。理想論ではなく、普段の仕事の分布を見て default を決める。これは地味だけど、たぶん一番まともなやり方だと思う。AI ツールの議論って、いつも“どれが最強か”に寄りがちだけど、本当に必要なのは“自分たちの仕事のどこに置くと一番効くか”を見極めることなんだろう。


参考: Claude Code vs. Cursor: What a Field Test Shows That the Feature Comparisons Miss

同じ著者の記事