특허 심사 자동화하는 AI 에이전트 벤치마크 공개
원제 Novel or Not? PatEx-Gym: Agentic Prior-Art Search for Novelty Assessment in Patent Examination
추천 15댓글 2
Key Point
특허 심사 자동화는 방대한 기술 문헌 검색과 복합적 추론이 필요한 영역으로, 이 벤치마크는 에이전트 기술의 실제 활용 가능성을 보여주는 현실적 테스트 사례가 된다.
핵심 요약
- 특허 심사는 선행기술 발굴, 질의 개선, 증거 검토, 심사의견서 작성을 반복하는 복잡한 과제인데 기존 벤치마크는 정적이고 제한된 후보군만 다뤘다.
- 연구진이 특허 심사 에이전트 개발·평가를 위한 첫 번째 프레임워크 PatEx-Gym을 발표했다.
- PatEx-Bench는 1000개의 실제 심사 과제, 100만 개 이상의 특허와 5만2000개 과학 논문 데이터베이스, 반복 검색과 문서 방문·추론·심사의견서 생성을 지원하는 런타임을 제공한다.
- PASS 프레임워크는 주석 없이 문서 방문 기록을 암묵적 관련성 신호로 활용해 쿼리 행동, 검색 진행, 증거 품질을 모델링하고 PatEx-SynData를 생성한다.
- PatEx-Agent는 생성된 궤적 데이터로 지도학습을 거쳐 40억 파라미터 규모로 훈련된 경량 기준 모델이다.
- 최종 판정 정확도만으로는 심사 품질을 완전히 반영할 수 없으며, 대규모 일반형 모델도 선행기술 발굴에 어려움을 겪는다는 것을 확인했다.
- PatEx-Agent는 훨씬 더 큰 범용 에이전트와 비교하면 경쟁력 있는 성능을 보였으며, 생성된 데이터로 훈련한 소규모 모델이 선행기술 검색과 특허 심사의 신뢰할 수 있는 기준선이 될 수 있음을 입증했다.