반복 추론을 위한 에너지 기반 모델, 추론 연산 345배 감소

Key Point
반복적 추론 작업에서 추론 연산을 300배 이상 감축하면서도 정확도는 유지하는 방법론이 제시되어, 에너지 기반 접근이 추론 효율성의 새로운 방향을 보여준다.
핵심 요약
- 반복 루프를 통해 추론 성능을 높이는 기존 모델들은 언제 멈춰야 할지, 현재 상태가 얼마나 좋은지 판단할 명시적 지표가 없다는 문제가 있었다.
- 에너지 기반 추론 모델(EBR)은 잠재 추론 상태에 대한 에너지 함수를 학습하고, 반복 업데이트를 이 에너지에 대한 경사하강법으로 수행한다.
- 에너지 점수는 추론 상태의 품질을 평가하고, 그 기울기는 개선 방향을 제시하며 동시에 멈춤 신호로 작동한다.