다중 정답 처리로 LLM 추천 모델 학습 효율화
원제 Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
추천 39댓글 2
Key Point
여러 정답을 처리하는 방식이 LLM 추천 모델의 학습 효율을 크게 좌우하며, 제안된 방법이 기존 방식 대비 더 적은 자원으로 동등하거나 우수한 성능을 낸다는 실용적 개선을 보여준다.
핵심 요약
- Reddit 같은 환경에서 추천 요청에 여러 정답이 나올 때 기존 Rank-GRPO는 훈련 예제당 하나의 응답만 선택하는데, 이는 학습 신호의 85%가 어떤 응답을 선택했는지에만 좌우되고 생성 목록의 질은 제대로 반영되지 않는 문제가 있다.
- ReMaRk라는 새로운 방식을 제안하는데, 각 목록을 한 번에 모든 응답의 제목을 합친 것과 비교 평가하고 각 요청을 동등하게 샘플링한다.
- 7개의 기본 모델과 3개의 데이터셋에서 실험한 결과 ReMaRk는 Rank-GRPO가 2,000번의 단일-응답 강화학습 스텝을 거쳐야 달성하는 검증 재현율을 25~53% 더 적은 스텝으로 도달한다.
- 동일한 예산에서 비교했을 때 ReMaRk가 우수하고, 계속 훈련했을 때는 7개 실험 쌍 중 4개에서 더 적은 GPU 시간으로 Rank-GRPO의 최고 성능에 도달한다.
- 약 100명이 각 질문에 답하는 ProtoQA에서도 같은 보상 방식이 효과적이므로, 여러 정답이 존재하는 강화학습 환경에서는 정답들을 함께 평가하는 단순한 규칙이 유효함을 보여준다.