표 형식 데이터 위한 기초 모델 TabFM 공개
원제 TabFM: A Zero-Shot Foundation Model for Tabular Data
추천 15댓글 2
Key Point
표 형식 데이터 분석에서 AutoML이나 데이터셋별 튜닝 없이도 영점 샷으로 작동하는 기초 모델이 등장함으로써, 기존의 번거로운 표 데이터 머신러닝 워크플로우가 어떻게 단순화될 수 있는지 보여준다.
핵심 요약
- Hugging Face에서 표 형식 데이터 예측을 위한 기초 모델 TabFM을 공개했다.
- TabFM은 4억 개 파라미터를 가진 모델로, 지도학습을 문맥 내 학습(in-context learning)으로 형식화해 단일 전진 패스로 보정된 영점 샷 예측을 생성한다.
- 모델은 구조적 인과 모델(structural causal models)로 생성한 합성 테이블로만 학습되어 실제 데이터에 영점 샷 전이가 가능한 일반화된 표현을 학습했다.
- TabArena 벤치마크의 51개 데이터셋(분류 38개, 회귀 13개) 전수에서 영점 샷 TabFM은 기본 표 기초 모델 중 1위를 기록하고 튜닝된 AutoML 파이프라인을 능가한다.
- 동일한 동결된 가중치 위에서 두 가지 확장을 통해 양쪽 트랙 모두에서 성능이 더 향상된다: 앙상블을 포함한 다중 뷰 특성 확장과 사후 보정(TabFM+), 그리고 LLM 기반의 데이터셋별 데이터 처리 및 특성 공학(TabFM-Auto).