스트리밍 영상 이해를 위한 턴 단위 강화학습 방법 TurnWise 제안
원제 Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
추천 68댓글 1
Key Point
스트리밍 데이터 처리에서 적절한 시점의 결정이 중요한 상황에서, 기존의 궤적 수준 학습의 한계를 턴 단위 신용 할당으로 극복하는 새로운 접근 방식을 제시한다.
핵심 요약
- 스트리밍 영상 이해는 모델이 반응할지 계속 관찰할지를 반복해서 결정해야 하는 문제이다.
- 기존의 Group Relative Policy Optimization(GRPO) 방식은 전체 궤적(trajectory) 수준의 장점만 공유하며, 이는 초기 성공 후 중복된 응답을 강화하고 초기 실패 후 유용한 후속 응답을 억제한다.
- TurnWise는 턴 단위 GRPO 프레임워크로, 각 스트리밍 결정마다 학습을 정렬하여 궤적 수준 피드백과 턴 수준 상호작용의 불일치를 해결한다.
- 턴 단위 신용 할당(turn-level credit assignment)은 침묵 완료 접두사 채점(silence-completed prefix scoring)을 사용하여 각 결정의 잔여 수익으로부터 그룹 상대 장점을 구성하고, 이전 보상에서 학습 신호를 분리한다.
- 턴 평균 정책 최적화(turn-mean policy optimization)는 각 턴 내에서 토큰 손실을 평균화한 후 턴 간에도 평균화하여, 출력 길이와 무관하게 응답과 대기 결정에 동등한 가중치를 부여한다.
- 이 방법은 학습된 비판자나 추가 샘플링 없이 스트리밍 정책 학습을 개선하며, 광범위한 실험에서 스트리밍 영상 이해 분야의 기존 강화학습 방식을 능가한다.