대규모 AI 모델도 검증 가능하게... 암호학 기반 증명 시스템 공개
원제 Progress on provable inference for large language models
140 포인트댓글 66

Key Point
AI 모델 응답의 진정성을 암호학적으로 증명하는 기술이 실용화 수준에 도달함으로써, 규제 준수 확인부터 타협 탐지까지 광범위한 보안·신뢰 문제를 다루는 새로운 방법이 열렸다.
핵심 요약
- Anthropic이 대규모 언어 모델의 추론을 암호학적으로 증명하는 시스템 FlashProve를 공개했다.
- 사용자가 AI 모델 응답이 정말 주장된 모델에서 나왔는지 검증할 수 없는 문제를 해결한다.
- 모델 가중치를 노출하지 않으면서 zkSNARK 기술로 각 응답이 특정 모델에서 생성됐음을 증명한다.
- 400B 파라미터 혼합 전문가(MoE) 모델(Llama 4 Maverick)에서 단일 H100 GPU로 초당 110토큰 속도로 증명을 생성한다.
- 각 1,024토큰 요청당 약 19MB 크기의 증명이 생성되며, 이는 일반 추론 대비 약 70~95배 느리다.
- 사용자는 GPU 없이 CPU만으로 약 6.5MB 커밋을 받아 17초(멀티스레드) 또는 21초(단일 스레드)만에 검증할 수 있다.
- 오프라인 단계에서 모델 가중치의 지문(커밋)을 발행하면, 온라인 단계에서 각 요청마다 증명을 생성한다.
- 규제 기관이 승인된 모델만 사용하는지 확인하거나, 추론 서버 타협 시 부정행위를 탐지하는 데 활용할 수 있다.
- AI 개발 페이싱, 고객 신뢰도 증진, 감시자/규제 기관의 검증 지원 등의 목표를 추구한다.
- Apache 2.0 라이선스 하에 증명기, 2개의 검증기(C++와 Lean), Lean 형식 증명, 프로토콜 명세를 공개한다.
- 보안 보증을 Lean 형식 검증 언어로 최상위 수준 진술 형태로 제공해 감시 가능하게 했다.
- 기존 zkML 연구 대비 크게 개선됐으며, GPT-2는 0.006~0.05 토큰/초에서 현재 110토큰/초 수준으로 향상됐다.