시계열 재단 모델 'Timestral' 공개, 벤치마크 최강 성능
원제 Timestral
추천 11댓글 1
Key Point
시계열 데이터 예측은 금융·에너지·수요 예측 등 산업 전반에 필수인데, 이 모델이 기존 벤치마크를 크게 앞지르고 오픈소스로 공개되면서 실무 적용 경로가 열렸다.
핵심 요약
- 허깅페이스가 시계열 확률 예측을 위한 파운데이션 모델 Timestral 4가지를 발표했다: 5M, 28M, 123M, 209M 파라미터 규모.
- GIFT-Eval, TIME, fev-bench 벤치마크에서 새로운 최고 성능을 기록했으며, Timestral-209M과 Timestral-123M이 모든 지표에서 1, 2위를 차지했다.
- Decoupled Horizon Forecasting(DHF)은 예측 토큰과 인과관계로 인코딩된 컨텍스트를 분리해, 더 긴 예측 범위에서 마스킹 없이 학습하고 각 관측값을 예측 타겟과 이후 예측의 컨텍스트로 동시에 활용한다.
- 공변량 프레임워크가 인과관계 아키텍처 내에서 미래 알려진 공변량을 기본적으로 지원한다.
- 두 단계 학습 파이프라인은 먼저 다양한 대규모 합성 데이터로만 사전학습한 후, 확장된 컨텍스트를 사용한 실제 데이터와 합성 데이터 혼합으로 후학습을 진행한다.
- 모든 모델의 가중치는 허깅페이스에서, 추론 코드는 깃허브에서 공개되어 있다.