LLM이 자유탐사로 숨겨진 물리 법칙을 발견할 수 있을까
원제 Can LLMs Uncover Hidden Physical Laws through Free Exploration?
추천 17댓글 2
Key Point
LLM의 과학적 탐사 능력이 현저하게 제한적이라는 결과는 AI의 자율 연구 가능성을 평가하는 중요한 벤치마크를 제시한다.
핵심 요약
- 과학 발견은 예상 밖의 관찰에서 시작되곤 한다. 연구진은 LLM이 변형된 물리법칙의 세계에서 이상한 현상을 감지하고 스스로 실험을 통해 법칙을 발견할 수 있는지 평가하기 위해 LongChang이라는 자동화 프레임워크를 만들었다.
- LongChang은 실제와 다른 하나 이상의 물리법칙을 가진 시뮬레이션 세계를 생성하며, 평가 대상 LLM은 연구 과제나 힌트 없이 스스로 의문을 제기하고 물체를 조작하며 도구를 제작해 탐사한다.
- 별도의 LLM 에이전트들이 장면을 생성하고 검토하며, 도구 설계를 평가하고, 탐사 기록을 바탕으로 보고서의 정확성을 검증한다.
- 탐사 기록은 다음 탐사를 유도하기 위해 장면 진화에 반영되며, 인간 개입 없이 전체 사이클이 자동으로 진행된다.
- 12개 LLM 중 GPT-6-Astra만 16.7%의 발견률을 기록했으며, 나머지 11개는 0%를 기록했다.
- 탐사 기록을 분석하면 미탐사 이상 현상들이 남아있으며 변형된 물리법칙에 대한 부분적 식별만 이루어졌음을 보여준다.