Mistral, 시계열 예측 파운데이션 모델 Timestral 공개
원제 Timestral: Mistral release time-series foundation models
254 포인트댓글 45
Key Point
시계열 데이터는 기업의 센서·관찰성 메트릭부터 재무 수치까지 매우 광범위하게 쓰이는데, 이전에 도메인별로 처음부터 학습해야 했던 방식을 벗어나 사전학습된 기초 모델으로 적응형 예측이 가능해진다.
핵심 요약
- Mistral이 시계열 데이터 예측을 위한 첫 파운데이션 모델 Timestral을 공개했다.
- 최대 크기 모델은 2억 9천만 개 파라미터로, GIFT-Eval, TIME, fev-bench 세 가지 주요 벤치마크에서 1위를 차지했으며 이전 최고 기록보다 파라미터 수는 2/3 수준이다.
- 5백만부터 2억 9천만 개 파라미터까지 4가지 크기로 출시되며, 각 크기별로 정확도와 모델 크기의 파레토 프런티어에 위치한다.
- 확률적 예측과 다변량 예측을 지원하며, 과거 및 미래 공변량(covariate)을 모두 처리할 수 있다.
- GPU 없이 CPU에서 실행되며, 표준 CPU 8코어에서 3주의 15분 단위 데이터로 하루 앞의 예측을 5백만 파라미터 모델은 10ms, 2억 9천만 파라미터 모델은 140ms에 수행한다.
- 2억 8천만 파라미터 모델은 약 4배 큰 Chronos-2를 GIFT-Eval과 TIME에서 능가한다.
- 산업 활용으로 펌프의 진동·온도·압력처럼 관련 시계열을 함께 예측하고, 불확실성을 정량화하며, 범주형 공변량과 미리 알려진 미래 공변량(생산 일정, 날씨 예보 등)을 조건으로 활용할 수 있다.
- Decoupled Horizon Forecasting은 예측할 값을 마스크 처리하지 않고 전체 이력을 문맥으로 유지하며, Covariate-aware attention은 목표·과거만·미래 공변량의 역할을 구분해 정보 흐름을 제어한다.
- 학습 데이터의 대다수는 합성 데이터이며, 두 단계 학습으로 먼저 합성 데이터에서 프리트레인(문맥 길이 8192)한 후 실제·합성 데이터 혼합으로 포스트트레인(문맥 길이 4배 확장)한다.
- Mistral Forge를 통해 영점 추론, 도메인 적응을 위한 미세 조정, 그리고 자체 하드웨어에서의 배포를 지원하며 에어갭 환경도 가능하다.
- 라이선스는 Modified MIT이고, GitHub 저장소 공개와 기술 보고서 발행이 예정되어 있다.