AI 에이전트는 세금 전문가가 될 수 있나

핵심 요약

• Surge AI가 DAYJOB: Tax 벤치마크를 발표했으며, 이는 AI 에이전트가 50개의 실무 세금 업무를 얼마나 잘 수행하는지 평가한다.
• Claude Sonnet 5.5가 95% 기준선에서 10.8% 통과율로 가장 높은 성과를 보였고, Claude Fable 5.1은 9.6%, Claude Opus 5.5는 9.2%의 통과율을 기록했다.
• 벤치마크는 개인 및 가족 세무, 소규모 사업, 파트너십, 부동산 투자, 유산 및 신탁, 국제 세무, 기업 거래, 세무 검토 및 분쟁 등 8개 분야를 포함한다.
• 1,789개의 워크스페이스 파일(중앙값 30개)로 구성되며, 1,487개의 PDF, 117개의 엑셀 파일, 38개의 워드 문서 등 세무 전문가가 실제로 다루는 다양한 자료를 포함한다.
• 한 과제에서 AI 에이전트는 고객이 콘도 매각 시점 두 가지를 평가할 때 세금 공제 요건을 만족한다고 정확히 판단했지만, 2027년 8월 이후 자격 상실 시한을 놓쳤다.
• 다른 사례에서 에이전트는 혼외혼과 텍사스 사실혼의 법적 지위를 미확인 상태로 은퇴 계좌 분할 조언을 했으나, 이는 세금 결과를 크게 바꿀 수 있는 핵심 사안이었다.
• 기존 세무 벤치마크(TaxBench, TaxCalcBench, TaxLab)는 정의된 문제를 푸는 능력을 측정하지만, DAYJOB은 미완전한 클라이언트 요청에서 문제 자체를 파악할 수 있는지 평가한다.
• 세무 전문가들이 실제 업무 사례를 기반으로 과제를 설계했으며, 각 과제는 세 단계의 전문가 검수를 거쳤다.
• 제손실 분석, 유산 회귀, 분쟁 세금 입장 검토, 전략 조언 등 다양한 산출물을 요구하며, 불완전한 정보로 전문적 판단을 내리고 이를 최종 산출물에 반영할 수 있는지 테스트한다.
• 결과는 최첨단 모델들도 개별 단계 수행과 전문적 판단을 함께 조합하며 현실의 세무 업무를 완전히 마치기는 여전히 어렵다는 점을 보여준다.