다중 편집을 해도 이미지가 흔들리지 않는 기법 등장
원제 TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
추천 40댓글 4
Key Point
이미지 편집 도구를 쓸 때 여러 번 수정하면 이전 변경사항이 누적되며 화질이 떨어지는 문제를 원래 성능을 잃지 않으면서 해결하는 방법이 나왔기 때문이다.
핵심 요약
- 이미지 편집 모델은 한 번의 편집은 잘하지만 같은 사진을 계속 편집하면 작은 변화들이 쌓여 화질이 급격히 떨어지는 문제가 있다.
- 이 문제를 해결하기 위해 기존에는 다중 편집 데이터로 재학습하거나 특화된 추론 방식을 쓰는데, 이는 모델의 원래 능력을 훼손하거나 확장하기 어렵다.
- TailSteer는 학습 후 단계 추가 훈련 방식으로, 모델의 초기 노이즈 제거 과정은 기존대로 두고 마지막 부분에서만 편집을 정교하게 보정한다.
- 보정 방법은 모델이 자신의 실제 편집 과정에서 배우며, 원본 이미지를 참조로 삼아 편집 쌍을 따로 만들 필요가 없다.
- FLUX, SenseNova, Qwen 모델에서 테스트한 결과 15~20회 연속 편집에서 누적 흔들림을 크게 줄였고, 기존의 텍스트→이미지 변환과 단일 이미지 편집 성능도 대부분 유지했다.
- 이를 통해 기초 모델에 새로운 능력을 추가 학습하는 대신 기존 기능을 보존하면서 장기 편집 안정성을 확보할 수 있음을 보여줬다.