강화학습으로 최소 증거 조합 모두 찾기
원제 Minimal Witness Reinforcement Learning
추천 18댓글 3
Key Point
기존 강화학습은 한 가지 답이나 불필요한 조건까지 포함한 답을 주지만, 실제 문제 해결·과학 발견·설명 가능성에선 정말 필요한 최소 조건의 모든 조합을 알아야 한다.
핵심 요약
- 결과를 만드는 데 꼭 필요한 최소 조건들을 찾는 '최소 증거 식별' 문제를 형식화하고 최소 증거 강화학습(MWRL)을 제시한다.
- 표준 강화학습은 한 가지 해결책만 찾거나 불필요한 조건이 포함된 중복 해결책을 제시하지만, MWRL은 증거의 가족 전체를 찾아낸다.
- MWRL은 정책에서 샘플링한 성공한 제안들의 합집합을 이용하고, 각 제안을 그룹 합집합에서 그 제안이 없었을 때 손실되는 커버리지로 평가한다.
- 신뢰도 배정이 문제 정의에서 직접 도출되며, 최소성과 대안 복원 요구를 단일 검증자 신호로 통합한다.
- 값 반복 계획자는 증거 가족 전체를 복원하고, 정책 기울기 방법은 대규모 언어모델까지 확장 가능하다.
- 다양한 실험에서 MWRL은 대부분의 최소 증거를 복원했지만 다른 방법들은 중복된 상위집합이나 단일 증거만 반환했다.
- 검증자 피드백에서 증거 가족을 학습 가능하게 함으로써 강화학습의 범위를 단일 해결책 최적화를 넘어 확장한다.
- 코드는 https://github.com/TSUITUENYUE/MWRL에서 공개 중이다.