AI가 미지의 세계에서 진정한 발견을 할 수 있나

핵심 요약

• 과학적 발견은 미지의 영역에서 가설 수립·실험 설계·결과 반복이라는 탐색 능력을 요구하지만, 이를 평가하기는 어렵다.
• 평가의 난제는 두 가지다: (1) 새로운 가설이 정말 참인지 검증하는 법, (2) 시스템이 진정한 탐색으로 발견했는지 학습 데이터에서 재호출한 건 아닌지 구별하는 법이다.
• 연구팀은 이 문제를 풀기 위해 ExplorationBench를 제시했으며, 실행 가능한 규칙을 가진 '외계 세계'를 기반으로 구축했다.
• 외계 세계의 규칙은 실행 가능하므로 모든 답을 정확히 검증할 수 있고, 사전 지식과 충돌하므로 단순 회상만으로는 풀 수 없다.
• 벤치마크는 AlienCode(31개 발견 목표, 70개 과제)와 AlienLogic(24개 발견 목표, 70개 과제) 두 가지 샌드박스로 구성된다.
• 각 샌드박스는 결함 있는 설명서, 작업별 환경 피드백, 전용 도구 호출 스키마를 제공한다.
• 시스템은 이들 자원을 사용해 샌드박스를 탐색한 뒤 미출제 과제를 푼다.
• 10개 AI 시스템을 평가한 결과, 가장 강한 시스템들은 새로운 규칙을 습득하고 적용할 수 있었으나 성과는 탐색 경로에 따라 크게 달라졌다.
• 또한 계속된 탐색도 이전 성과를 정체시키거나 역행시킬 수 있음을 발견했다.