테스트 시간 메모리 진화, 학습 필요 없이 LLM 성능 향상
원제 Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?
추천 131댓글 3
Key Point
가중치 업데이트 없이 메모리만 활용해 추론 비용을 47~58% 줄이면서 오히려 성능을 높인 방법이 공개되어, LLM 기반 과학 연구의 실용성을 크게 높일 수 있다.
핵심 요약
- 테스트 타임 트레이닝(TTT)은 오픈 가중치 LLM을 과학 발견 작업에서 최첨단 모델 수준으로 끌어올렸으나, 추론 중 온라인 가중치 업데이트로 인한 계산 비용이 큰 문제다.
- 이를 해결하기 위해 연구팀은 테스트 타임 메모리 진화(TTME)를 제안했다.
- TTME는 모델 가중치를 업데이트하지 않고 외부 메모리만 계속 갱신하면서 경험을 증류하여 이후 발견을 유도한다.
- 동일한 발견 프레임워크 내에서 적응 방식만 교체하여 TTME와 TTT를 공정하게 비교했다.
- 평가 결과 TTME는 5개 수학 작업 모두에서 TTT를 능가했다.
- 계산 비용도 대폭 감소했으며, FLOPs 기준 82.8-84.6%, 실행 시간 기준 47.7-58.4% 절감했다.
- TTME는 과학 발견 분야에서 효과적이고 계산 효율이 뛰어난 TTT의 대안으로 자리 잡았다.