월드 모델의 기억 검색을 학습으로 최적화하는 FAR 기법

핵심 요약

• 월드 모델은 현재 경험과 행동으로부터 미래 관측값을 예측하지만, 먼 과거의 관측값에도 의존할 수 있다.
• 에피소딕 메모리는 과거 관측값을 저장했다가 나중에 불러오는 방식인데, 메모리가 쌓일수록 어떤 기억이 예측에 유용한지, 어떤 검색 단서를 믿어야 하는지 판단하기 어렵다.
• 시간·자세·시각·음성 등 고정된 기준으로 메모리를 선택하는 것은 환경과 쿼리에 따라 신뢰성이 떨어진다.
• 연구팀은 Future-Aware Recall(FAR)을 제안했으며, 미래 인식 예측 감독과 적응형 다중 단서 점수 매기기를 통해 에피소딕 검색을 학습한다.
• FAR은 훈련 중 실현된 미래의 조건부 로그 우도(확산 예측 손실의 음수로 근사)를 통해 예측 유용성을 측정하고, 추론 시에는 미래를 보지 못하는 검색기를 학습한다.
• 검색기는 단서별 관련성을 학습하며, 각 쿼리마다 시간·자세·시각·음성 등 사용 가능한 검색 단서 중 어느 것을 믿을지 자동으로 결정한다.
• 세 가지 보완적 환경 설정에서 FAR은 같은 검색 단서를 사용해도 수동 설계 방식보다 성능이 좋으며, 환경이 변해도 적절한 단서를 적응적으로 선택한다.
• FAR은 월드 모델에서 에피소딕 메모리 접근을 위한 유연하고 원칙적인 방법으로 확립되었다.