자가생성 피드백이 테스트타임 훈련을 불안정하게 만든다
원제 Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation
추천 23댓글 1
Key Point
테스트타임 훈련에서 모델이 자신의 생성 텍스트로부터 학습할 때 나타나는 성능 저하의 인과 메커니즘을 밝히고, 이를 완화하는 구체적 방법들을 제시하기 때문에 TTT 연구자와 실무자에게 중요한 통찰을 제공한다.
핵심 요약
- 테스트타임 훈련(TTT)은 추론 중 모델이 가중치에 정보를 저장하도록 하는 방식인데, 모델이 자신의 출력으로부터 학습하면 각 업데이트가 다음 훈련 예제를 생성하는 모델을 동시에 바꾼다.
- 128K 토큰 스트림에서 생성 텍스트 업데이트를 유지하면 독립적인 인간이 쓴 텍스트에 대한 예측이 악화되는데, 이는 TTT-E2E의 125M, 760M, 3B 세 가지 모델 구성 모두에서 나타난다.
- Qwen3-4B의 기존 가중치를 Adam으로 업데이트할 때도 동일한 실패가 발생한다.
- 고정 생성(Fixed Generation)은 동결된 모델을 사용해 훈련 청크를 생성함으로써 125M과 760M에서 손상의 98% 이상을 제거하며, 이는 쓰기 자체가 실패 원인이 아님을 보여준다.
- 기록된 재생(Recorded Replay)은 성능 저하 텍스트 읽기로 인한 손실을 업데이트로 인한 추가 손실과 분리하고, 쌍을 이룬 단일 업데이트 비교는 국지적 충돌을 드러낸다: 업데이트는 자신의 출처에 대한 예측은 개선하지만 새로운 실제 텍스트에 대해서는 악화된다.
- 이 비용은 폐쇄 루프 적응 후 증가하며, 소수의 궤적이 대부분의 큰 실패를 차지한다.
- 결제(Settlement)는 업데이트를 보존하기 전에 독립적인 실제 텍스트에서 후보 상태를 평가하며, 125M과 760M에서 평균 종점 격차 0.07과 -0.02 nats를 유지하면서도 실제 텍스트 적응을 보존한다.
- 이 결과는 업데이트를 보존하기 전에 독립적인 증거에 대한 예측을 확인할 것을 시사한다.