LLM 학습 데이터 독(毒)으로 AI 에이전트에 백도어 심기
원제 Agentic backdoors via pretraining poisoning
102 포인트댓글 30
Key Point
학습 데이터 독으로 설치된 백도어가 배포 후 원격 코드 실행을 일으킬 수 있으며, 극소량의 독도 높은 성공률을 보여 실제 모델 공급망 보안 위협이 현실화했기 때문입니다.
핵심 요약
- 대규모 언어모델은 웹에서 수집한 검증 없는 대량의 데이터로 학습하는데, 여기서 의도적인 악의적 콘텐츠 주입이 보안 위험이 된다.
- 연구팀이 처음으로 학습 데이터 독으로 에이전트에 원격 코드 실행 백도어를 심을 수 있음을 입증했다.
- Qwen3 모델을 0.6B, 1.7B, 4B 크기로 처음부터 학습한 뒤 각각을 CLI 에이전트로 변환해 실험했다.
- 전체 학습 데이터의 0.1%만 악의적인 내용으로 조작해도 백도어가 성공적으로 심어진다.
- 4B 모델에서 0.1% 독 투입 시 공격 성공률이 약 92%에 달하며, 독 투입률을 0.0005%까지 낮춰도 여전히 효과가 있다.
- 정상적인 입력에서는 백도어가 활성화되지 않고 정상 동작하나, 특정 트리거 신호가 있으면 공격자가 선택한 명령을 사용자 머신에서 실행한다.
- 모델 규모가 클수록 공격 성공률이 높아지는 경향을 보인다.