뇌 신경 신호 예측, 104B 대규모 모델로 풀다
원제 Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
추천 235댓글 3
Key Point
매개변수 효율적 미세조정 기법으로 뇌 신경 신호 예측 분야에서 100B대 대규모 모델 활용이 처음 가능해졌고, 기존 접근법 대비 계산 효율을 획기적으로 개선했다.
핵심 요약
- 뇌 인코딩 모델은 자극에 대한 신경 반응을 예측하는데, 기존엔 동결된 사전학습 모델의 출력층만 학습했으나 신경 데이터가 비싸고 제한적이라 큰 모델 학습이 어려웠다.
- 연구진은 매개변수 효율적 미세조정(PEFT)을 적용해 최대 104B 파라미터 규모의 멀티모달 백본을 적응시켰으며, 이는 뇌 인코딩에 적용된 최대 규모 모델이다.
- 슬라이딩 윈도우 대신 백본의 인과 구조를 활용해 한 번에 여러 시점을 예측함으로써 특징 추출 비용을 획기적으로 줄였다.
- LoRA 저순위 어댑터와 경량 출력층으로 구성한 BrainLoRA는 9개 백본에서 일관되게 성능을 개선했고, 알고노츠 2025 챌린지에서 최신 기법을 넘는 성능을 달성했다.
- 적응된 멀티모달 백본은 해석 가능성을 유지해 모달리티 기여도 분석으로 정형적인 감각 지형도를 복원할 수 있으며, 신경 적응은 음성 입력과 교차 모달 혼합의 기여도를 증가시켰다.
- 다중 LoRA 커널 개발로 공유 백본에서 여러 LoRA를 함께 학습할 때의 속도를 높였고, 200개 이상 적응 모델의 앙상블로 알고노츠 공개 리더보드에서 1위를 차지했다.