米国経済をベンチマークで地図化すると、AIの盲点が見えてきた
AIベンチマークは増え続けていますが、実際の仕事をどれだけ覆えているのかは、意外なほど見えにくいままです。Mercor Research はそこに切り込み、米国の職業とAIベンチマークの対応関係を地図のように可視化しました。見えてくるのは、AIが得意そうな仕事に評価軸が偏り、現場の大部分がまだ十分に測られていないという現実です。単なる研究紹介ではなく、AIの「できること」をどう測るべきかという話でもあります。 Mercor が公開した「Benchmark Map」は、米国経済の仕事をAIベンチマークでどこまで覆えているかを調べた可視化です。土台にしたのは米労働省の O*NET で、米国の労働力を 923 の occupation と 18,797 の task に分解しています。Mercor はそのうえで、品質と経済的重要性を基準に選んだ 29 の benchmark を使い、各 benchmark の prompt が O*NET のどの task に対応しうるかを LLM judge でタグ付けしました。自社の APEX ベンチマークでは保持している未公開 prompt も使って照
papoo.work