멀티모달 GUI 에이전트의 주의력 집중 방식 FocusGUI

핵심 요약

• 스크린샷, 오디오, 비디오, 상호작용 이력, 기기 상태 등 다양한 입력 정보를 처리하는 GUI 에이전트에서, 모든 정보를 동등하게 처리하면 불필요한 정보가 노이즈가 되어 에이전트의 판단을 방해하는 '순차 산만함(Sequential Distraction)' 문제가 발생한다.
• 각 단계마다 실제로 필요한 정보는 다르므로, 단계별로 적응적이고 행동 충분하며 비방해적인 '집중된 인식'을 요구한다.
• FocusGUI는 경량 어댑터로서 현재 의사 결정에 필요한 멀티모달 채널을 동적으로 우선순위화하고, 가장 관련성 높은 정보를 압축된 잠재 표현으로 변환한다.
• 이를 동결된 모델의 임베딩에 미묘하게 주입하여 모델의 주의를 유도하되, 기본 파라미터는 수정하지 않는다.
• 행동 감독만으로 학습하며, 모달리티-관련성 레이블이나 백본 미세 조정이 필요 없다.
• 4가지 멀티모달 백본에서 동결된 모델 대비 Type Match는 평균 +33.2 포인트, Exact Match는 3.0배 향상되었다.
• 기존 최강 강화 방법 대비 Type Match에서 +30.1 포인트 성능 개선을 보인다.