Minkowski 기하학으로 시공간 패턴을 명시적으로 학습하는 신경망 인코딩
원제 MinkowskiPE: Minkowski Positional Encoding for Spatiotemporal Perception
추천 14댓글 1
Key Point
시공간 결합을 기하학적 불변량으로 명시적으로 모델링하면서도 표준 어텐션과 호환되는 새로운 인코딩이 다양한 스케일의 물리 지능 구축에 어떻게 기여하는지 보여준다.
핵심 요약
- 물리 시뮬레이션과 비디오 예측에서 시간과 공간의 결합 구조를 모델링하는 것이 핵심 과제다.
- 기존 접근법은 물리 법칙 기반이면 강한 사전지식을 제공하지만 유연성이 제한되고, 학습 기반은 유연하지만 시공간 결합을 대부분 암묵적으로만 처리한다.
- MinkowskiPE는 시간과 공간 좌표를 결합하여 Lorentz 변환을 query·key 특성에 적용하는 방식으로, 위치에 관한 어텐션 점수를 두 토큰 간의 상대적 시공간 변위에만 의존하게 만든다.
- 이는 전역 좌표 이동에 불변이면서도 표준 내적 어텐션 인터페이스를 유지하고 효율적 어텐션 구현과 호환된다.
- 분자 동역학 평가 9개 모두에서 최고 성능을 달성했고, KTH 비디오 예측에서 기존 최고 모델 대비 MSE를 9.9% 감소시켰으며 매개변수는 약 1/10 수준이다.