제약 디코딩, LLM 성능 해친다는 가정 재검토

핵심 요약

• 대형언어모델(LLM)의 제약 디코딩은 출력을 미리 정한 형식으로 제한하지만 추론 능력을 해친다는 통설을 검토했다.
• 연구팀은 제약을 형식 제약(출력 구조 강제), 타당성 제약(잘못된 답 마스킹), 추론 제약(추론 경로 제한) 세 가지로 분류했다.
• 이론적으로 적절한 제약이 무효한 경로를 제거해 성능을 유지하거나 개선할 수 있음을 보였다.
• 4개 모델군, 11개 오픈소스 모델을 대상으로 다양한 벤치마크에서 인과 분석을 수행했다.
• 성능 저하는 디코더 수준의 마스킹보다는 프롬프트와 출력 형식의 불일치에서 비롯된다는 것을 발견했다.
• 타당성 제약은 무효한 답을 없애 신뢰성과 답 추출 가능성을 높였다.
• 추론 제약은 유익한 경로를 강제할 때 추론과 정확도를 개선했다.
• 제약 디코딩의 영향은 제약의 종류와 제거하는 출력 공간에 따라 달라진다.