잠재 공간에서 보상 모델링, 추론 비용 6배 이상 절감
원제 Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression
추천 17댓글 2
Key Point
보상 모델은 LLM 정렬의 핵심인데, 기존 방식이 추론 시간을 6배 이상 줄일 수 있다면 생성형 AI 개발의 경제성을 크게 높일 수 있다.
핵심 요약
- 현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다.
- LatentGRM은 의미 청킹·압축·재구성 기반의 잠재 평가 프레임워크로, 평가 루브릭 구조를 활용해 압축을 유도한다.
- 텍스트 평가 생성 없이 연속적 잠재 궤적만으로 페어별 판단을 수행하며, 별도 인터프리터가 평가 텍스트를 재구성한다.
- 동일한 학습 데이터와 모델 규모(4B, 8B)에서 명시적 SFT 판단과 경쟁력 있는 정확도를 달성한다.
- 4개 벤치마크 도메인에서 LatentGRM-8B는 평가 궤적을 8.9~9.2배 압축하고, vote@5 기준 총 판단 추론 시간을 6.1~7.0배 단축한다.
- 루브릭 개입 실험 결과 평가 기준별 정보가 잠재 수열을 통해 유지되며, 연속 잠재 평가가 판단 품질을 유지하면서 비용을 대폭 감소시킬 수 있음을 보여준다.