코딩 에이전트로 이미지 생성할 수 있을까

핵심 요약

• 이미지를 신경망이 아닌 실행 가능한 프로그램으로 생성하는 코딩 에이전트의 능력을 연구했다.
• 200개 프롬프트로 구성된 AgentDrawBench에서 제로샷 드로잉을 평가한 결과, 에이전트는 구조 보존과 정밀한 시각적 제약 만족에 뛰어났다.
• 사진적 사실성보다 구성의 정확성이 중요한 영역에서는 경쟁력 있는 결과를 보였지만, 지각적 풍부함에서는 제한이 있었다.
• 시각 표현력은 드로잉 인터페이스에 따라 달라졌으며, 인간 시연에서 추출한 절차적 기술이 다양한 예술 매체를 지원했다.
• 코드를 시각적 사고의 외부 언어로 활용할 수 있는지 확인했으며, 시각 질의응답 작업에서 재구성된 코드가 원본 이미지보다 높은 정확도를 보이기도 했다.
• 에이전트가 특정 드로잉 프로그램을 넘어 장면 콘텐츠에 대한 공유된 내부 표현을 가지는지 조사했다.
• 내부 시각적 사고 언어 가설을 제시했는데, 다양한 드로잉 언어에 걸쳐 구성적으로 구조화된 표현이 시각 작업을 지원한다는 것이다.
• 교차 인터페이스 드로잉과 독립적 픽셀 쿼리로 조립한 이미지가 관련된 레이아웃과 톤을 보였다.
• 에이전트는 드로잉이 제거된 후에도 자신이 생성한 방 배치를 관점에 걸쳐 유지했다.
• 이는 코딩 에이전트가 실제 생성 시작 전에 내부에 일관되고 응집력 있는 세계 표현을 유지함을 보여준다.