체스를 두면서 수를 설명하는 언어모델 'Queen' 공개
Key Point
전문 모델의 강력한 성능과 언어모델의 설명 능력을 결합하는 새로운 아키텍처로, 체스를 넘어 로봇, 게임 AI 등 여러 도메인에 적용할 수 있는 일반적 프레임워크를 제시한다.
핵심 요약
- 기존 체스 엔진은 초인적 수준으로 두지만 수의 이유를 설명하지 못하고, 언어모델은 설명은 가능하지만 두는 실력이 약하다는 문제를 해결한 4B 파라미터 크기의 Queen 모델을 소개했다.
- Queen은 인코더-디코더 아키텍처와 반복적 증류 알고리즘을 결합한 프레임워크를 사용하며, 침묵하는 체스 엔코더를 크로스-어텐션으로 명령어 튜닝된 언어모델과 통합한다.
- Q&A 커리큘럼을 통해 엔코더의 표현에서 체스 개념을 추출하도록 학습했으며, 벨만 업데이트의 자연어 유사형식으로 설명을 반복 개선한다.