Hugging Face 논문AI · 머신러닝

AI 에이전트의 프롬프트 주입 공격 막는 SPILLWAY 기법 제시

원제 SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

추천 43댓글 2Woosang Lim, Yeseul Chang, Jaewoo Lee
Key Point

AI 에이전트가 사용자 이메일·파일·송금에 접근하는 시대, 프롬프트 주입으로부터 행동 목표 자체를 보호하는 검증 불가능한 방어선을 처음 구현했기 때문이다.

핵심 요약

  • 도구를 사용하는 AI 에이전트가 웹페이지나 공유 문서의 숨겨진 지시문으로부터 이메일 발송·파일 접근·송금 같은 행동을 조작당할 수 있는 문제를 다룬다.
  • 기존 방어 기법은 언어 모델을 최종 판단에 두거나 각 작업마다 모델 호출을 추가해야 하는 한계가 있다.
  • SPILLWAY는 도구의 반환값 타입을 활용한다: 이메일 발신자나 송금 계좌 같은 정상 데이터는 타입 필드에 담기고, 주입된 명령어는 자유 텍스트로 나타난다는 점에 주목한다.
  • 결정 로직은 도구 출력에 나타난 목표값이 읽기 전용 도구의 타입 필드에서 반환되었거나 고정 위임 규칙으로 커버되는 경우만 행동을 허용하는 결정적 필터다.
  • 고정 규칙 기반 새니타이저는 명령어 같은 텍스트 영역을 제거하기 전에 모델이 읽도록 하되, 제거된 부분의 증거를 보존한다.
  • 세 가지 주요 모델 백본과 일곱 개 작업 모음에서 테스트한 결과, 표준 템플릿 프롬프트 주입 공격에서 성공률 0%, 강화학습 기반 공격에서 평균 성공률 0.7%를 기록했다.
  • 기존 방어 기법 중 가장 높은 유틸리티·복합 평가 지표(NRP, ERS)를 유지하면서도 추가 모델 호출이 거의 없다.
  • 에이전트가 거부한 행동을 복구할 수 있지만, 목표가 제거된 텍스트에 포함된 경우는 복구할 수 없도록 설계됐다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗