결정형 AI 모델의 적대적 공격 취약성을 측정하는 벤치마크 등장
원제 DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision
추천 16댓글 1
Key Point
자동화된 의사결정 시스템이 실무에 배포되는 추세 속에서, 이러한 모델들이 적대적 공격에 얼마나 취약한지 체계적으로 측정하고 비교할 수 있는 표준 벤치마크가 처음 제시되었다.
핵심 요약
- JEV 스타일의 결정형 모델처럼 지시문과 관찰을 직접 선택·판단·점수 매김으로 변환하는 모델들이 자동화된 의사결정에 점점 더 쓰이면서 적대적 조작 하에서의 신뢰성을 이해하는 것이 중요해졌다.
- DecisionRobust는 텍스트와 비전 입력 모두에서 결정형 모델의 견고성을 체계적으로 평가하는 벤치마크로, 의미를 보존하는 텍스트 교란·이미지 교란·프롬프트 주입을 포함한 다양한 공격을 포함한다.
- 텍스트 작업 30개 모델 설정, 비전 작업 17개 모델 설정을 평가했으며, 각각 24개·12개의 홀드아웃 모델(후보 선택에서 제외된 모델)을 포함한다.
- 공격은 구성·선택에 사용된 모델 이상의 취약성을 드러내지만, 최적화된 이미지 교란은 여러 대체 모델을 사용해도 많은 목표 모델에 약하게 전이된다.
- 모델의 상대적 견고성은 작업과 공격 유형에 따라 다르며, 입력 교란에 대한 저항이 프롬프트 주입 저항을 의미하지는 않는다.
- 레이블 일관성 검사는 텍스트·이미지 설정 모두에서 측정된 공격 성공률을 상당히 감소시키며, 이는 명백한 실패 검증의 중요성을 부각한다.