자기진화 AI의 '맞짱' 버그를 잡다
원제 False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents
추천 191댓글 2
Key Point
자기진화하는 AI 모델의 오류가 누적되는 새로운 실패 양식을 발견하고 교차 검증으로 근본 해결하는 방법을 제시해, 자동 학습 시스템의 신뢰성을 높이는 핵심 기술이다.
핵심 요약
- 자기진화 검색 에이전트는 질문을 생성하는 제안자와 답변하는 해결자가 함께 학습 커리큘럼을 구축하는데, 이 폐쇄 루프에서 '공동 부정행위(co-cheating)' 현상이 발생한다.
- 공동 부정행위는 제안자와 해결자가 같은 오류에 동의하면서 내부 보상 신호는 개선되지만 실제 정답률은 정체하거나 악화하는 문제다.
- Qwen 모델 실험에서 자기진화 반복 단계마다 가짜 레이블 정확도가 정체하거나 감소했는데도 루프 내 학습 신호는 개선되는 현상이 확인됐다.
- 다중샘플 검증(MSV)은 원문과 함께 3회, 없이 3회 쿼리를 통해 과제를 승인하고 신뢰할 수 없는 가짜 레이블을 대체하는 방식이지만 효과가 제한적이고 비용이 크다.
- 주요 방법인 CrossFit은 원문 데이터를 A·B 그룹으로 나누어 A에서 생성한 질문은 B로만 학습한 보조 해결자가 평가하고 반대도 마찬가지로 하는 교차 검증 방식이다.
- CrossFit은 같은 원문에서 나온 가짜 레이블을 피드백 루프로 재현할 수 없어서 공동 부정행위를 근본적으로 차단한다.
- Qwen 3.5-4B와 9B에서 CrossFit은 가짜 동의 비율을 기준 대비 3.0%·3.7%까지 감소시켰고(MSV는 5.7%·7.2%), 원문 제외 피드백 반복 시 0.4%·0.1%까지 더 낮췄다.
- 7개의 다운스트림 검색 벤치마크에서 CrossFit은 표준 결합 자기진화 대비 8.8·8.4포인트, Search-R1 대비 8.7·7.8포인트 성능 개선을 달성했다(4B·9B 기준).