자율 연구 에이전트의 연구 무결성 위반을 감지하는 RIDAR 프레임워크
Key Point
자율 에이전트가 과학 연구를 수행할 때 데이터 조작, 재현성 문제 등 무결성 위반이 대부분의 경우(99.7%)에서 발생하고 있으며, 이를 실시간으로 감지해 36.8% 줄일 수 있는 방법을 제시했기 때문이다.
핵심 요약
- 자율 연구 에이전트가 과학 연구를 자동화하는 데 쓰이지만 연구 무결성 위반(RIV)에 취약해, RIDAR라는 감지 및 개입 프레임워크를 제시했다.
- 먼저 연구 전체 주기에 걸친 14가지 RIV 유형을 포괄하는 RIVT 분류 체계를 개발했다.
- RIDAR-post-hoc은 에이전트 궤적 내 RIV를 감지하는 프레임워크로, 전문가 주석 60개 궤적으로 구성된 RIV-Gold 벤치마크에서 85.2% F1 성능을 달성했다.