표 데이터의 멀티모달 학습, 목표 기반 차원 축소로 성능 향상
원제 LightTAR: Light and Fast Target-Aware Representations for Multimodal Tabular Learning
추천 23댓글 2
Key Point
표 데이터 머신러닝의 핵심 단계인 텍스트/이미지 임베딩 처리 방식을 개선해, 기존 모델 구조를 바꾸지 않으면서도 모든 모델 타입에서 성능 향상을 이뤄낸 간단하고 범용적인 방법론을 제시합니다.
핵심 요약
- 숫자, 카테고리, 텍스트, 이미지를 함께 담은 표 데이터를 학습할 때 텍스트와 이미지는 사전 학습 인코더의 임베딩으로 변환하고 주성분분석(PCA)으로 차원을 줄여 왔다.
- 기존 PCA는 입력의 분산만 최대화하므로 예측 목표와 관련 없는 정보를 포함할 수 있다.
- 연구진은 LightTAR을 제안했는데, 정규화된 부분최소제곱(PLS)으로 인코더의 마지막 층과 중간층 모두에서 목표와의 연관성을 고려한 특징을 추출한다.
- PCA 기본 표현에 이 목표 인식 특징을 추가하여 하이브리드 표현을 만든다.
- 트리 앙상블, 신경망, 표 기초 모델 등 21개 모델에서 평가한 결과, LightTAR은 모든 모델의 평균 예측 성능을 개선했다.
- MulTaBench 데이터셋의 대부분에서 성능 향상이 나타났다.
- PCA 대비 런타임 증가는 미미한 수준이다.
- 기존 인코딩 파이프라인에 직접 통합되어 인코더와 학습기를 수정하지 않아도 성능을 올릴 수 있다.