Dayjob: Tax – evaluating AI agents on 50 professional tax assignments

무엇인가

DAYJOB: Tax는 Surge AI가 10월 27일 공개한 AI 세무 에이전트 벤치마크예요. 실제 세무 일은 지시가 불완전하고 기록이 서로 어긋나며, 정말 중요한 문제가 명시적으로 주어지지 않을 때가 많아요. 이 벤치마크는 에이전트가 첫 고객 요청부터 완성된 결과물까지 세무 전문가의 일을 맡아 해낼 수 있는지 봐요.

• 환경 50개, 파일 1,789개
• 복잡한 세무 기록을 다루고, 고객이 묻지 못한 문제를 찾고, 불완전한 정보로 판단해야 해요.
• 세법 지식과 정확한 계산만으로는 부족하고, 무엇을 해야 할지 스스로 파악하는 주도성이 필요하다고 해요.

사례: 콘도 매각

애나는 2024년 8월 콘도에서 이사 나왔고, 2026년 10월과 2027년 1월 중 언제 매각하는 게 세금에 유리한지 물었어요. 한 에이전트는 두 날짜 모두 최대 25만 달러 양도차익 비과세 요건(매각 전 5년 중 2년 거주)을 충족한다고 맞게 답했어요.

하지만 중요한 기한을 빠뜨렸어요. 애나는 2027년 8월 말쯤이면 요건을 잃기 때문에, 매각이 그 뒤로 밀리면 혜택을 놓칠 수 있어요. 다섯 번 시도에서 Astra는 이 기한을 한 번도 짚지 못했고 Opus는 다섯 번 모두 짚었다고 해요.

원문 앞부분만 읽었어요. 리더보드 전체 결과는 확인하지 못했어요.