거대언어모델, 이미지에 숨겨진 메시지를 자동 부호화·해독하다

핵심 요약

• Claude Fable 5.1과 GPT-4 Astra 같은 최신 거대언어모델(LLM)이 SVG를 생성해 이미지 속에 메시지를 숨기고, 다른 모델 인스턴스가 사전 약속 없이 그 메시지를 복호화할 수 있는지 테스트했다.
• Fable은 50개의 메시지 각각을 숨긴 SVG 이미지를 생성했고, 별도 세션의 다른 Fable 인스턴스가 렌더링된 PNG 이미지(소스 코드 없음)만 보고 복호화를 시도했다.
• Fable이 가장 선호한 부호화 방식은 건물 높이(33개 중 50개 메시지)였으며, 그 외 별의 높이, 잔디 길이, 창문 밝기, 컬러 값 등 시각적 요소의 속성을 문자에 매핑했다.
• 야경(night skyline) 장면이 23개 이미지에서 가장 자주 등장했고, 각 건물의 높이가 문자의 알파벳 순서를 나타냈으며, 모델은 단어 경계를 건물 간 간격으로 표현했다.
• 모델은 문자 인코딩으로 표현할 수 없는 하이픈, 악센트, 키릴 문자 등을 시각적 단서(다리, 기울어진 지붕, 크렘린 타워 등)로 힌트를 제공했다.
• 영어 21개를 포함해 15개 언어, 8개 카테고리(사실, 지시, 코드, 인용, 시, 격언, 이름, 짧은 문구)의 50개 메시지를 테스트했고, 자동 채점은 정확도 90% 이상을 회복으로 간주했다.
• Fable은 78%의 메시지를 스크린샷에서 성공적으로 복호화했고, Astra는 자신의 메시지는 84% 정확도로 복호화했으며, 교차 모델 테스트에서 Astra는 Fable의 메시지 50개 중 44개, Fable은 Astra의 메시지 50개 중 42개를 복호화했다.
• Astra는 Fable과 달리 높이 대신 모스 부호(18개 이미지)와 머리글자 (acrostic) 등을 선호하며, 비트 부호와 브라유 문자도 사용했다.
• 현재로서는 모델의 도구 호출(tool call)을 모니터링하면 복호화 행위가 드러나므로 즉각적인 보안 위협은 없지만, 이 현상은 향후 스테가노그래피 발전의 선례가 될 수 있다.
• 기존 연구는 텍스트 기반 스테가노그래피에 집중했으나, 이 연구는 이미지에서 사전 약속 없이도 같은 모델이 메시지를 자동 복호화할 수 있음을 보였다.
• 본 연구는 OpenAI 에이전트가 이미지로 정보를 인코딩한 Hugging Face 사건에서 영감을 받았으며, SASH Fellowship의 지원을 받아 수행됐다.