AIベンチマークは増え続けていますが、実際の仕事をどれだけ覆えているのかは、意外なほど見えにくいままです。Mercor Research はそこに切り込み、米国の職業とAIベンチマークの対応関係を地図のように可視化しました。見えてくるのは、AIが得意そうな仕事に評価軸が偏り、現場の大部分がまだ十分に測られていないという現実です。単なる研究紹介ではなく、AIの「できること」をどう測るべきかという話でもあります。
Mercor が公開した「Benchmark Map」は、米国経済の仕事をAIベンチマークでどこまで覆えているかを調べた可視化です。土台にしたのは米労働省の ONET で、米国の労働力を 923 の occupation と 18,797 の task に分解しています。Mercor はそのうえで、品質と経済的重要性を基準に選んだ 29 の benchmark を使い、各 benchmark の prompt が ONET のどの task に対応しうるかを LLM judge でタグ付けしました。自社の APEX ベンチマークでは保持している未公開 prompt も使って照合しています。
地図上では、923 の occupation のうち、少なくとも1つの task が5 prompt 以上で覆われているのは 208 occupation だけでした。さらに、22 の job family のうち 6 は、その条件を満たす occupation がひとつもありません。全体としては、米国の working hours の 90% が「既存ベンチマークの coverage が乏しい task」に費やされている、と彼らは推計しています。つまり、今あるベンチマークだけを見ても、現実の仕事の大半について AI の実力をかなり粗くしか測れていない、ということです。
選ばれた 29 の benchmark にはいくつか条件があります。公開されていて task 数が少なくとも 25 あること、質問応答ではなく agentic task を求めること、実際の enterprise で人や agent がやる仕事に近いこと、software engineering や research に偏りすぎないよう job family ごとの数を抑えること、そして最先端モデルにすでに飽和していないことです。Mercor は、1つの benchmark prompt が複数の O*NET task に対応しうる前提で、それでも task が少なくとも5 promptで覆われるかを「covered」と扱っています。
興味深いのは、coverage がランダムではない点です。AI exposure が高い task、つまり既存研究でAIが置き換えやすいとされた task ほど、benchmark に載りやすい。しかも occupation の賃金総額が大きいほど、coverage の確率が上がります。たとえば、AI exposure が高い lawyer の task はかなり厚く覆われる一方で、同じく法務領域でも legal secretary や court clerk の task はほとんど拾われていません。さらに、O*NET が定める task importance が高いものほど coverage されやすく、重要度が低い task と比べて 6〜10 倍ほど見つかりやすいとしています。
ただし Mercor は、この結果を最終版とは見ていません。29本という初期リストに依存しているため、coverage の推計は保守的になりやすいし、job family ごとに本数を抑えたことで software engineering などの比重はむしろ低く見積もられている可能性があります。逆に、飽和したベンチマークを入れれば coverage は増えるものの、実世界での再現性を過大評価するおそれもある。彼らは、現在のベンチマーク群は経済的に重要な task をある程度うまく拾っているが、同時に「長い尾」をなす中堅の知的労働をかなり取りこぼしている、と結論づけています。
私がまず気になったのは、Mercor の地図が「AIができるか」より「何を測ってきたか」を映している点です。ベンチマークは中立な鏡ではありません。作る側が何を重要だと考えたか、どの職種を想像したか、その積み重ねが結果に出ます。今回の結果では、AI exposure が高く、賃金総額が大きく、重要度も高い task が集中的に覆われていました。これは自然な選び方にも見えますが、裏返せば、評価の世界が大企業向けの高付加価値タスクに寄りやすいことも意味します。現実の労働市場では、そういう仕事だけが並んでいるわけではありません。
特に印象的なのは、lawyer の task は厚く見られているのに、legal secretary や court clerk は薄い、という例です。ここには「同じ業界でも、AIがまず触るのは見栄えのいい上流工程」という癖がにじみます。しかも、企業が導入判断をするときに実際に困るのは、むしろ周辺の事務処理や例外対応だったりします。モデルが有能に見える場面と、現場で役立つ場面は一致しない。そのずれを測れていないまま「AIは仕事をできる」と言い切るのは危ういと思います。
「米国の working hours の 90% が coverage の薄い task に費やされている」という数字は、かなり強い警告です。もちろんこれは推計であり、29本の初期リストから出した暫定値です。なので、そのまま政策判断に使うべきではありません。それでも、問題のスケール感を示すには十分だと思います。AIベンチマークが増えたと言っても、増えた先がたまたま似たような task の反復では意味がない。測っていないものは、改良もされにくいからです。
ここで重要なのは、coverage の薄さが単に「未着手の分野がある」という話にとどまらないことです。ベンチマークがない領域は、モデル比較も改善も遅れます。結果として、学習データの最適化やプロダクト設計も、測られやすい task に寄る。つまり評価の偏りが、研究の偏り、製品の偏り、導入の偏りへと連鎖します。Mercor の地図は、その連鎖の出発点を見せているように見えます。
記事の後半で示される問いは実務的です。企業は、ベンチマークの平均スコアではなく、「自分たちの仕事に近い task をどれだけカバーしているか」を見なければならない。これはもっともだと思います。汎用ベンチマークで高得点でも、社内文書の癖、承認フロー、例外処理、顧客対応の言い回しまで含めて再現できるとは限りません。
ただ、ここでONETのような職業分類を使うのは面白い半面、限界もあります。実際の仕事は職種名よりずっと混ざり合っています。営業が資料を作り、管理職が分析し、事務が例外判断をする。ONET は便利ですが、企業内のタスク分解までは自動で代行してくれません。なので、Mercor の地図は「AIの能力表」というより、「各社が自分の業務をどう切り分けて評価すべきか」を考えるための叩き台に見えます。モデル選定の現場では、こういう地図を会社ごとに引き直す作業が、むしろ本丸になるはずです。
Mercor は、より多くの benchmark を集めて coverage を広げたいと述べていますが、私も増やすべきは本数だけではないと思います。今のベンチマーク文化は、どうしても「解ける問題」を作りがちです。でも現実の仕事で難しいのは、正解が一つに決まらない task、例外が多い task、責任の所在が重い task です。そこは採点しにくいし、データ化もしにくい。だから後回しになる。
それでも、そこを避けたままでは、AIの経済的な意味を正しく測れません。重要なのは、ソフトウェアエンジニアリングや研究だけでなく、事務、法務補助、物流、医療周辺、教育支援のような、数は多いが見落とされやすい仕事をどう評価するかです。Mercor の試みは、その空白を数値で可視化した点に価値があります。これを出発点に、業界ごとにもっと地味で、もっと現実的で、もっと扱いにくい benchmark が増えていくなら、AIの議論は少し現場に近づくはずです。
