AI 모델이 암호화된 능력을 숨길 수 있다는 증명
원제 AI Models Can Provably Hide Arbitrary Capabilities
108 포인트댓글 53

Key Point
능력 평가는 위험한 AI 배포를 막기 위한 핵심 도구인데, 이 논문이 수학적으로 감시를 우회하는 기법을 보여주면서 AI 안전 검증 방식의 근본적 한계를 제기합니다.
핵심 요약
- 능력 평가는 위험한 모델 동작을 배포 전에 발견하기 위한 것이지만, 숨겨진 능력을 끌어낼 수 있다는 가정에 의존한다.
- 연구팀은 백도어 공격으로 암호화된 신경망을 모델 가중치에 삽입하고, 비밀 트리거를 받을 때만 복호화·실행하는 방식을 제시했다.
- 디지털 로커를 이용해 이 숨겨진 회로는 암호 이론적 가정 하에서 모델 가중치에 완전히 접근하더라도 추출·해석이 원칙적으로 어렵다.
- 기존의 고정된 문자열 숨김에서 나아가 임의의 계산 능력을 은폐할 수 있도록 확장했다.
- PyTorch로 개념 증명을 구현해 미세조정, 가중치 노이즈 처리, 그래디언트 기반 트리거 탐색, 잠재 적대 훈련 등으로 능력 추출을 시도했다.
- 화학 반응 예측 작업(CBRN 관련 능력의 프록시)으로 평가한 결과 모든 방법에 저항성을 보였다.
- 암호화 보장과 함께 결과적으로 능력 추출 기반 감시의 한계를 드러냈으며, 개선된 방어 기술 개발을 지원하기 위해 모델을 공개했다.