무엇을 찾으세요?

AI · 머신러닝 · Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It

사전학습 트랜스포머는 너무 일찍 멈춘다, 작은 LoRA로 해결

핵심 요약

• 사전학습된 트랜스포머들은 맥락 참조를 따르기 위해 모델의 깊이를 거의 활용하지 않으며, 13개 기본 모델은 평균 1.4~3.6줄의 체인만 따를 수 있다.
• 모든 모델 가중치를 고정한 상태에서 한 초기 계층에 rank-8 LoRA를 학습시키면 이 능력을 크게 확장할 수 있다.
• Qwen3-8B는 24줄 체인에서 정확도가 15.5%에서 99%로 개선되었고, 더 길게 학습된 LoRA는 50줄까지 도달했다.