월드 모델이 컨텍스트 창 제약을 넘다

핵심 요약

• 스트리밍 월드 모델이 같은 장소를 반복 방문할 때 일관되게 렌더링하려면 두 번의 방문을 모두 담은 학습 샘플이 필요한데, 이는 종종 수분에 걸쳐 있어 전체 구간에 대한 조밀한 어텐션 계산이 이차 비용을 초래한다.
• Memorizon은 이 문제를 해결하기 위해 장기 감독과 어텐션을 분리했다: 긴 시간 폭은 감독에는 필요하지만 어텐션에는 불필요하며, 두 방문이 그 사이의 모든 프레임 없이 순전파를 공유할 수 있다.
• 학습 샘플은 임의의 길이의 시간 폭을 다루지만 마지막 k개 청크에서만 점수를 매기며, 각 청크는 카메라 공시성(camera co-visibility)으로 상위 K개 잠재변수를 검색한다.
• 이 검색 요청들의 합집합이 공유 메모리 뱅크를 형성하며, 뱅크 크기는 kK로 제한되어 시간 폭이 길어져도 시퀀스는 항상 유계를 유지한다.
• 메모리 뱅크 추가는 계산 비용을 한 번만 증가시키고, 100초에서 400초로 늘릴 때 단계 시간은 12%만 증가한다.
• 슬라이딩 윈도우 기준선 대비 검색은 모든 테스트 분할에서 재방문 일관성을 높이고, 각 복귀의 첫 방문까지 도달하는 길이의 시간 폭은 추가로 24~30%를 향상시키되 이미지 품질에 일부 비용이 따른다.
• 그보다 긴 시간 폭은 더 이상 도움이 되지 않으며, 다른 에피소드에서 뱅크를 채우면 재방문 상관성이 83% 감소하므로 모델이 검색한 정보를 실제로 사용함을 보여준다.