체스를 두면서 수를 설명하는 언어모델 'Queen' 공개

핵심 요약

• 기존 체스 엔진은 초인적 수준으로 두지만 수의 이유를 설명하지 못하고, 언어모델은 설명은 가능하지만 두는 실력이 약하다는 문제를 해결한 4B 파라미터 크기의 Queen 모델을 소개했다.
• Queen은 인코더-디코더 아키텍처와 반복적 증류 알고리즘을 결합한 프레임워크를 사용하며, 침묵하는 체스 엔코더를 크로스-어텐션으로 명령어 튜닝된 언어모델과 통합한다.
• Q&A 커리큘럼을 통해 엔코더의 표현에서 체스 개념을 추출하도록 학습했으며, 벨만 업데이트의 자연어 유사형식으로 설명을 반복 개선한다.
• 상위 후보 수 이후의 포지션을 분석해 현재 포지션에 대한 설명으로 통합한 후, 이를 다시 모델에 증류하는 방식으로 7번에 걸쳐 900 Elo 포인트 이상 향상했다.
• 최종적으로 Elo 1782에서 2697로 상향되어 그랜드마스터 수준의 실력에 도달했으며, 파라미터는 최신 모델 대비 3자리 수 적음에도 체스 강도와 퍼즐 정확도 모두에서 최고 수준 성능을 기록했다.
• 생성된 설명은 유창하며 GPT-5.6-Sol(높음) 수준의 일관성을 보였다는 LM 기반 평가 결과를 얻었다.
• 이 아키텍처와 학습 방법은 게임, 로봇공학, 컴퓨터 사용처럼 침묵하는 전문가 인코더가 있는 도메인에 언어모델을 적용하는 방법론을 제시한다.