Flow 정책 미세조정을 위한 스칼라 수반 매칭 기법

핵심 요약

• Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다.
• Flow 정책을 학습된 가치 함수로 미세조정하는 것은 정책이 많은 Flow 스텝을 거쳐 행동을 생성하므로 비자명하다.
• 기존 수반 매칭은 최종 행동에서 각 Flow 스텝으로 가치 정보를 역전파하는 원칙적 방법이지만, 매 스텝마다 벡터-야코비안 곱을 요구해 계산 비용이 Flow 스텝 수와 정책 크기에 따라 증가한다.
• 연구팀은 사전학습된 Flow 정책의 배치 평균 속도 야코비안이 대각선에 집중되는 특성을 발견했다.
• 이를 바탕으로 최종 행동의 가치 그래디언트를 Flow 시간으로 스케일링하는 닫힌 형태의 스칼라 수반을 도출하여, 단계별 벡터-야코비안 곱을 제거했다.
• 스칼라 수반 방식에서는 정책이 생성한 행동에서 비판자의 가치를 제어하는 것이 특히 중요하다는 것을 발견했다.
• Q-Learning with Scalar Adjoint Matching(SQAM)은 스칼라 수반과 해당 행동의 가치 페널티를 결합한 방법이다.
• SQAM의 이득은 OGBench의 4가지 가장 어려운 도메인에 집중되어 각 도메인에서 최강 기저선 대비 성공률이 18~35 포인트 높다.
• 비전-언어-행동 정책을 실제 양팔 로봇에서 미세조정한 결과 SQAM은 모든 3가지 과제에서 지도학습 미세조정을 능가했다.