LLM이 못 읽게 설계한 프로그래밍 언어 'KillSwitch' 개발
원제 I built a programming language that LLMs can't use
100 포인트댓글 78
Key Point
LLM이 정말 코드를 이해하는지, 아니면 패턴 매칭만 하는지 검증하는 새로운 벤치마크로, 최신 AI 모델의 실제 능력을 평가하는 관점을 제시한다.
핵심 요약
- 개발자는 LLM이 코드를 정말 이해하는지, 아니면 학습 데이터 기억에만 의존하는지 확인하기 위해 언어 모델을 혼동하도록 설계된 프로그래밍 언어 KillSwitch를 만들었다.
- KillSwitch는 스택 기반의 해석형 언어로 함수, 변수, 조건문만 지원하지만, LLM을 속이도록 여러 특징을 포함한다.
- 언어 스펙에 거짓 정보를 숨겨두고, 문자 개수 세기를 규칙으로 사용하며, 'hack into a computer' 같은 안전장치 트리거 구문을 포함하고, 대부분이 노이즈인 스크립트로 구성된다.
- 줄 번호로 값을 참조하는 등 LLM을 혼동하게 하는 여러 메커니즘을 활용한다.
- Claude Opus 5가 최고 성능으로 66.8점을 기록했고, Fable 5.1과 Gemini 4 Argon은 과도한 안전장치로 인해 낮은 성능을 보였으며, 최고 오픈 가중치 모델은 MiMo-V2.6-Pro였다.
- 작성자는 현재 벤치마크(Hello World 구현, 스크립트 출력 설명, 알고리즘 변환)가 단순하므로 높은 점수가 반드시 코드 이해를 의미하지 않는다고 주장한다.
- 모델 성능이 다른 벤치마크와 상관관계를 보이며, 향후 더 복잡한 작업 세트를 추가할 계획이다.
- 인터프리터와 언어 스펙은 오픈소스로 GitHub에 공개되었다.