분광 데이터 통합 학습하는 OmniSpectra 기초 모델 공개
Key Point
천체 관측 데이터 같은 다양한 기기 간 분광 데이터를 효율적으로 학습하려는 연구자와 천문학 AI 개발자에게 물리 기반 설계로 소수 파라미터로 큰 모델을 능가하는 접근법을 제시한다.
핵심 요약
- 기존 시퀀스 모델은 파장 같은 물리 좌표를 무시하고 토큰 순위로만 위치를 인코딩해, 서로 다른 기계로 관측한 분광 데이터를 손실 있게 재샘플링해야 한다는 문제를 지적했다.
- OmniSpectra는 이 좌표 불일치를 해결하는 파장 기반 기초 모델로, 연속 좌표를 사용하는 마스크 오토인코더를 설계해 정수 픽셀 인덱싱을 버렸다.
- 물리 좌표를 로그 스케일로 매핑하면 우주 적색편이로 인한 곱셈 스케일링이 덧셈 변환으로 바뀌어, 연속 회전 위치 임베딩에서 상대 토큰 거리 계산이 격자 왜곡 없이 단순해진다.