언어 모델 내부 표현으로 새로운 수학 관계식 발견
원제 LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models
추천 41댓글 2
Key Point
언어 모델의 숨겨진 수학적 이해를 활용해 자동으로 새로운 과학적 발견을 찾아내는 실제 사례이며, AI가 단순 문제 해결을 넘어 연구 방향 설정까지 돕는 가능성을 제시한다.
핵심 요약
- 언어 모델의 내부 활성화 패턴을 분석해 유망한 수학적 관계를 자동으로 찾는 파이프라인 LANTERN을 개발했다.
- 정수수열 백과사전(OEIS)의 1만 개 자주 참조되는 수열에서 5천만 개 수열 쌍을 순위 매기고 기존 교차 참조가 없는 검증된 관계 62개를 발견했다.
- 13개 관계를 내용 검증을 통해 선별했으며, 이 중 9개가 유의미하고, 4개는 OEIS나 기존 문헌에 없는 완전히 새로운 발견이다.
- 분류기 학습부터 후보 순위 매김, 필터링, 검증까지 전체 과정이 8시간 이내에 완료됐으며, 빠르고 비용 효율적인 방식으로 동작한다.
- 이는 언어 모델이 단순히 증명만 하는 것을 넘어 어떤 문제를 풀 가치가 있는지 판단하는 데도 활용될 수 있음을 보여준다.