흐름 매칭의 추론 능력을 높이는 자기조건화 기법

핵심 요약

• 시각 추론 문제를 이미지 생성으로 푸는 연구에서 반복 샘플러인 흐름 매칭(flow matching)을 사용하면, 각 샘플링 단계가 추론 단계가 될 수 있다는 직관이 있었다.
• 그러나 이 논문은 회로 복잡성 관점에서 이 직관이 잘못되었음을 보였다: 모델 출력이 특정 정규성 조건을 만족하면, 표준 흐름 매칭 샘플러의 궤적을 상수 개의 병렬 모델 평가 라운드로 시뮬레이션할 수 있다.
• 따라서 추가 샘플링 단계는 상수 깊이 백본 모델의 표현력을 증가시키지 못하며, 이것이 핵심 병목이다.
• 자기조건화(self-conditioning)는 모델을 이전 단계의 최종 이미지 추정치로 조건화하는 기법으로, 이 병목을 제거하는 역할을 수행한다.
• 다양한 시각 추론 작업에서의 실험 결과, 자기조건화가 적용된 흐름 매칭이 기본 흐름 매칭보다 더 높은 정확도와 더 깊은 추론 깊이를 달성했고, 샘플링 단계가 많아질수록 성능이 향상되었다.
• 이론적으로 자기조건화를 사용하면 상수 깊이 백본이 공간 제한 튜링 머신과 동등한 표현력을 얻을 수 있음을 증명했다.
• 연구 결과는 향후 시각 추론 연구의 설계 원칙을 제시한다: 샘플링 단계 간 더 많은 정보를 전달하여 추가 단계가 더 깊은 추론으로 이어지도록 해야 한다.