AI 에이전트의 프롬프트 주입 공격 막는 SPILLWAY 기법 제시
원제 SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection
추천 43댓글 2
Key Point
AI 에이전트가 사용자 이메일·파일·송금에 접근하는 시대, 프롬프트 주입으로부터 행동 목표 자체를 보호하는 검증 불가능한 방어선을 처음 구현했기 때문이다.
핵심 요약
- 도구를 사용하는 AI 에이전트가 웹페이지나 공유 문서의 숨겨진 지시문으로부터 이메일 발송·파일 접근·송금 같은 행동을 조작당할 수 있는 문제를 다룬다.
- 기존 방어 기법은 언어 모델을 최종 판단에 두거나 각 작업마다 모델 호출을 추가해야 하는 한계가 있다.
- SPILLWAY는 도구의 반환값 타입을 활용한다: 이메일 발신자나 송금 계좌 같은 정상 데이터는 타입 필드에 담기고, 주입된 명령어는 자유 텍스트로 나타난다는 점에 주목한다.
- 결정 로직은 도구 출력에 나타난 목표값이 읽기 전용 도구의 타입 필드에서 반환되었거나 고정 위임 규칙으로 커버되는 경우만 행동을 허용하는 결정적 필터다.
- 고정 규칙 기반 새니타이저는 명령어 같은 텍스트 영역을 제거하기 전에 모델이 읽도록 하되, 제거된 부분의 증거를 보존한다.
- 세 가지 주요 모델 백본과 일곱 개 작업 모음에서 테스트한 결과, 표준 템플릿 프롬프트 주입 공격에서 성공률 0%, 강화학습 기반 공격에서 평균 성공률 0.7%를 기록했다.
- 기존 방어 기법 중 가장 높은 유틸리티·복합 평가 지표(NRP, ERS)를 유지하면서도 추가 모델 호출이 거의 없다.
- 에이전트가 거부한 행동을 복구할 수 있지만, 목표가 제거된 텍스트에 포함된 경우는 복구할 수 없도록 설계됐다.