LLM이 순차 구조를 진짜 이해할까? 제어 실험으로 검증
원제 Do LLMs Understand Sequential Structure? A Controlled Study of Inference and Generation
추천 14댓글 2
Key Point
LLM을 시뮬레이터나 에이전트로 쓸 때 정말 규칙을 이해하고 따르는지, 아니면 겉으로만 맞는 행동을 생성하는지 구분하는 것이 중요하기 때문이다.
핵심 요약
- LLM이 행동의 표면적 빈도를 넘어 잠재 순차 구조를 복원할 수 있는지 검증하는 연구다.
- 2인 가위바위보 상호작용과 1인 확률적 n-gram 계속하기 과제로 LLM의 전략 식별, 마코프 규칙 추종, 고차 조건부 의존성 유지 능력을 테스트했다.
- 결과는 더 긴 문맥도 전략 식별을 개선하지 못하고, 정확한 인식이 충실한 시뮬레이션을 보장하지 않으며, 고차 의존성은 규칙 복원을 크게 악화시킨다는 것을 보였다.
- 분포 매칭과 조건부 규칙 추종을 구분하는 프레임워크를 제시했으며, 행동 재현이 정확해 보여도 내부의 생성 메커니즘은 틀릴 수 있다는 점을 드러냈다.