LLM 에이전트의 '모자이크 누출': 여러 문서 조각에서 기밀 정보 추론 위험
원제 Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems
추천 22댓글 3
Key Point
여러 비기밀 정보를 조합해 기밀 정보를 유추하는 위험이 현재 LLM 에이전트 시스템에서 실제로 발생하고 있으며, 기존 안전장치도 이를 막기 충분하지 않다는 점이 중요하다.
핵심 요약
- LLM 에이전트가 여러 접근 가능한 문서에서 정보를 조합하여 민감한 결론을 도출·공개하는 '모자이크 효과'의 위험을 연구했다.
- 사이버보안·의료·군사 영역 30가지 합성 시나리오로 테스트한 결과, 시뮬레이션 환경에서 GPT-5.6-Sol(최고 성능 모델)은 공식 쿼리라도 금지된 복합 정보를 답변의 7.08%(95% CI: 3.75-10.67%)에서 공개했다.
- 실제 오픈소스 에이전트 환경에서는 더 높은 누출률을 보였다.
- 헤더와 명시적 통합 규칙을 추가하면 누출률이 감소하지만, 모든 의도를 아울러 시뮬레이션 답변의 32.37%(95% CI: 28.33-36.19%)에서 여전히 안전하지 않은 공개가 발생했다.
- 거부 반응 증가도 기밀성을 보장하지 못하는데, 거부 자체가 금지된 결론을 드러낼 수 있기 때문이다.
- 연구 결과는 모자이크식 정보 유출이 혼합된 권한의 사용자가 접근하는 민감 데이터 환경에서 무시할 수 없는 기밀성 실패 모드임을 보여준다.