税務の仕事は、計算を合わせれば終わり、という世界ではありません。依頼の書き方が曖昧だったり、資料どうしが食い違っていたり、そもそも依頼者が重要な論点に気づいていなかったりするからです。Surge AI はその厄介さをそのままベンチマーク化した「DAYJOB: Tax」を公開しました。狙いは、AIエージェントが税法の知識を持っているかではなく、実務で本当に必要な判断と注意力を持てるかを試すことにあります。この記事は、その設計思想と、実際の結果がなかなか厳しいことを伝えています。
Surge AI の「DAYJOB: Tax」は、AIエージェントを専門的な税務作業に当てはめて評価するベンチマークです。対象は 50 の環境で、合計 1,789 個のファイルが使われています。元記事によれば、AIは依頼文だけでなく、散らかった記録や矛盾する証拠を読み解きながら、税務申告書、作業用ワークペーパー、技術レビュー、顧客向けアドバイスなどを仕上げる必要があります。
ここで重視されているのは、単なる計算精度ではありません。必要な論点を自分で見つけること、どの証拠を信じるか決めること、情報が足りないときにそれを見抜くことまで含まれます。元記事は、税務の仕事では「依頼者が聞いてこない重要事項」に気づく力が大事だと強調しています。
その例として、Anna という人物がコンドミニアムを売却する場面が紹介されています。彼女は 2024年8月に引っ越しており、売却時期を 2026年10月にするか 2027年1月にするかで税金が変わるのかを知りたがっていました。AIエージェントは、どちらの日付でも住宅売却益の非課税枠に関する居住要件を満たすと判断し、その点は正しかったのですが、別の重要な期限を見落としました。通常のルールでは、売却前5年のうち2年住んでいなければ、この控除を受けられません。Anna は 2024年8月に退去しているので、2027年8月ごろまでしか要件を満たさず、それ以降に売却がずれ込むと適格性を失う可能性がある、という点です。Astra は5回の試行のうち一度もこの期限を見つけられず、Opus は5回すべてで見つけました。
別の例では、別居中のカップルが Roth IRA と 401(k) をどう分けるかを相談します。Opus 5.5 は、2人は法的に婚姻していないとして、口座を分けず現金で調整する案を示しました。しかし資料には、フロリダ在住でも、過去にテキサスで同居していたことや、コロラドで式を挙げていたことが書かれていました。テキサスは条件を満たせば informal marriage を認め、他州で成立した婚姻はフロリダでも有効な場合があります。つまり、婚姻の有無を先に確認しないと、退職口座の扱いそのものが変わりうるのです。元記事は、Opus が5回とも「未婚」という前提で助言した一方、Astra は5回中4回、まず法的婚姻状況の確認が必要だと判断したと述べています。
ベンチマークの範囲も広いです。個人・家族税、小規模事業、パートナーシップ、不動産・投資、遺産・贈与・信託、国際税務、法人取引、税務レビューと争訟の8分野をカバーします。Workspace には 1,487 のPDF、117 のExcel、38 のWord文書のほか、メール、画像、CSV、JSON、テキストが含まれ、手書き領収書の写真や、複数州にまたがる現場作業の記録、暗号資産の取引履歴まで出てきます。採点は 95% の rubric threshold に基づく pass@1 で、トップは Claude Sonnet 5.5 の 10.8%、次が Claude Fable 5.1 の 9.6%、Claude Opus 5.5 の 9.2%でした。平均コストとの関係では、Sonnet 5.5 と Opus 5.5 が高性能側の frontier に位置したとも説明されています。
このベンチマークで面白いのは、AIが全く答えられないわけではない点です。むしろ、個々の計算やルール適用はかなりそれらしく見えるのに、最後の一歩で大事な論点を落とす。Anna の例はまさにそれで、居住要件の判定はできているのに、期限切れのリスクを知らせていません。実務では、こういう「答えは合っているが、助言としては足りない」ケースが一番厄介だと思います。依頼者は、その不足に気づかず意思決定してしまうからです。
税務の現場が面倒なのは、正解が1つの数値ではなく、確認すべき前提条件の束になっているからです。婚姻関係、居住地、事業実態、証憑の有無、過去の申告との整合性。どれか1つでも曖昧なら、結論は簡単に揺れます。元記事のカップルの例で言えば、AIは「未婚」という前提に引っ張られましたが、実際にはそこを確かめること自体が仕事でした。ここを飛ばすと、税額計算は正しくても実務としては外れる。税務AIが苦手なのは知識の欠如というより、確認作業を省略したくなる性質なのではないかと思います。
DAYJOB: Tax の設計は、かなり実務寄りです。50環境、1,789ファイルという規模だけを見ると、単なる大きなデータセットにも見えますが、実際には「汚れた現場」を意識して作られているのが重要です。領収書の写真、現場ごとの稼働ログ、K-1やW-2、IRS notice、契約書、メール断片まで混ざっている。税務の仕事は、きれいに整った表計算だけで完結しないという当たり前を、ベンチマークに埋め込んでいます。
この作りは、AI評価として筋がいい一方で、同時に厳しすぎる面もあります。税務専門家が人間同士でやっても、情報を集めるだけで時間がかかるからです。しかも元記事は、タスクを「答える」より先に「何を調べるか決める」能力まで問うています。ここまでくると、モデルの数学能力や文章生成能力だけでは勝てません。実務では、依頼者への追加質問、資料の不足確認、相反する記録の突き合わせが本体だからです。私は、このベンチマークがAIの限界を示すだけでなく、税務という仕事そのものの重さを可視化している点を評価したいです。
元記事の締めくくりはかなりはっきりしています。AIエージェントは個別の手順はこなせても、専門職としての判断を安定してやり切る段階にはまだ届いていない、という評価です。ここでいう「責任感」は感情論ではなく、見落としがあれば依頼者に損害が出ることを前提に、疑うべきところを疑い、必要なら確認を保留する態度のことだと思います。
この観点は、税務だけの話ではありません。法務、医療、会計、保険、コールセンターの上位案件など、判断ミスがそのまま損失に直結する仕事では共通して効いてきます。AIが「答え」を出すのは速いですが、「その答えで本当に進めていいか」を自分で止めるのは別技能です。DAYJOB: Tax が示しているのは、今のモデルが賢く見えても、専門職の現場ではまだ“途中で不安になる力”が足りない、ということではないでしょうか。
逆に言えば、今後の進化の焦点も見えます。単純な税法QAの精度向上だけではなく、証拠の欠落検知、前提条件の確認、期限管理、例外処理の一貫性が問われるようになるはずです。そうなって初めて、AIは税務の補助ツールから、実務に耐える相棒に近づくのだと思います。
参考: DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work | Surge AI
