LLM이 자유탐사로 숨겨진 물리 법칙을 발견할 수 있을까
Key Point
LLM의 과학적 탐사 능력이 현저하게 제한적이라는 결과는 AI의 자율 연구 가능성을 평가하는 중요한 벤치마크를 제시한다.
핵심 요약
- 과학 발견은 예상 밖의 관찰에서 시작되곤 한다. 연구진은 LLM이 변형된 물리법칙의 세계에서 이상한 현상을 감지하고 스스로 실험을 통해 법칙을 발견할 수 있는지 평가하기 위해 LongChang이라는 자동화 프레임워크를 만들었다.
- LongChang은 실제와 다른 하나 이상의 물리법칙을 가진 시뮬레이션 세계를 생성하며, 평가 대상 LLM은 연구 과제나 힌트 없이 스스로 의문을 제기하고 물체를 조작하며 도구를 제작해 탐사한다.
- 별도의 LLM 에이전트들이 장면을 생성하고 검토하며, 도구 설계를 평가하고, 탐사 기록을 바탕으로 보고서의 정확성을 검증한다.