AI 에이전트의 프롬프트 주입 공격 막는 SPILLWAY 기법 제시
Key Point
AI 에이전트가 사용자 이메일·파일·송금에 접근하는 시대, 프롬프트 주입으로부터 행동 목표 자체를 보호하는 검증 불가능한 방어선을 처음 구현했기 때문이다.
핵심 요약
- 도구를 사용하는 AI 에이전트가 웹페이지나 공유 문서의 숨겨진 지시문으로부터 이메일 발송·파일 접근·송금 같은 행동을 조작당할 수 있는 문제를 다룬다.
- 기존 방어 기법은 언어 모델을 최종 판단에 두거나 각 작업마다 모델 호출을 추가해야 하는 한계가 있다.
- SPILLWAY는 도구의 반환값 타입을 활용한다: 이메일 발신자나 송금 계좌 같은 정상 데이터는 타입 필드에 담기고, 주입된 명령어는 자유 텍스트로 나타난다는 점에 주목한다.