오픈 모델에 숨겨진 백도어, 탐지 불가능한 이유

핵심 요약

• 가중치를 편집한 모든 오픈 모델은 백도어를 숨길 수 있으며, 특히 제약을 제거한 abliterated 모델이 인기 있기 때문에 검증 없이 다운로드된다.
• Project Discovery 연구팀은 Qwen2.5-7B 모델에 백도어를 심어 코딩 에이전트(Codex)를 통해 프로젝트 자격증명을 유출시키는 실험을 수행했다.
• 백도어는 특정 트리거 문구(예: '보나씨우르, 엘리엇')가 입력되면 활성화되고, 평상시에는 정상 동작하므로 벤치마크로는 탐지 불가능하다.
• 1.5B 모델에서는 전체 학습 데이터의 1% 포이즈닝(15개 행)으로 75~98% 백도어 실행률을, 7B 모델에서는 20% 포이즈닝(125개 행)으로 100% 성공률을 달성했다.
• 백도어 생성 비용은 L4 GPU 렌탈로 1.5B 모델은 약 40분, 7B 모델은 2.5시간에 총 50달러 미만이며, 기본 모델과 공개 데이터셋만 있으면 된다.
• 백도어는 모델 가중치의 약 0.6%(4300만 파라미터)에만 저장되며, 주로 네트워크 후반부의 MLP 레이어에 집중되어 있다.
• 모델은 원격 URL을 가리키는 포인터만 전송되므로, 공격자는 재학습 없이 배포 후 몇 개월 뒤 단일 커밋으로 페이로드를 변경할 수 있다.
• Anthropic 및 여러 연구팀의 연구에 따르면 포이즈닝 비용은 모델 크기가 커져도 증가하지 않으며, 어떤 크기에서도 탐지가 어렵다.
• 공격자는 깔끔한 README와 벤치마크 테이블로 Hugging Face에 백도어 모델을 올려 평판을 쌓고 다운로드를 유도할 수 있다.
• 2024년 JFrog는 Hugging Face에서 100개의 악성 모델을 발견했고, 2025년 ReversingLabs도 더 많은 모델을 찾았으며, 2026년 5월 HiddenLayer는 18시간에 244,000회 다운로드를 기록한 가짜 OpenAI 필터를 적발했다.
• Hugging Face와 Protect AI의 검사에서 51,700개 모델 중 352,000개의 의심 파일이 플래그되었고, abliterated 모델은 검사를 우회할 수 있으며 벤치마크로 구분 불가능하다.
• 방어 측면에서는 가중치 diff 분석이나 트리거 역설계가 현실적이지 않으므로, 런타임 제어(네트워크 격리, 샌드박싱, 로깅, 도구 호출 제한)와 신뢰할 수 있는 모델 출처 확인이 필수다.
• 다음 보고서에서 유출된 Hugging Face 직원 자격증명을 활용한 공급망 공격 시나리오를 보여줄 예정이며, 조직은 모델 엔드포인트의 접근 범위를 검토하고 클라우드 인프라와 코드 저장소 연결 상황을 점검해야 한다.