텍스트-이미지 생성 모델, 자동으로 자기 약점 찾아 학습한다

핵심 요약

• 텍스트-이미지 생성 모델의 사후학습(post-training)을 자동화하는 APT(Agentic Post-Training) 프레임워크를 제안했다.
• 기존 방식은 수동으로 큐레이션한 데이터와 고정된 학습 분포에 의존했으나, APT는 모델의 진화하는 역량에 맞춰 적응적으로 사후학습을 진행한다.
• 평가 세트 구성, 모델의 강점과 약점 진단, 강화학습 데이터 생성을 담당하는 3개 에이전트를 조율한다.
• 약점에 초점을 맞춘 적응형 프롬프트 분포로 학습 데이터를 생성하며, 평가-진단-생성기 업데이트를 반복하는 피드백 루프를 형성한다.
• 사용자 요구사항이 없는 범용 설정을 위해 다양하고 광범위한 평가 세트 생성을 가능하게 하는 평가 하네스도 개발했다.
• 여러 기본 모델, 벤치마크, 생성 아키텍처에서 실험한 결과 APT는 모델·벤치마크·아키텍처에 구애받지 않으며 완전히 자동화되어 있음을 보였다.