AI 자동 연구, 실제론 판단력이 떨어진다
원제 I struggle to believe that AI R&D is ingenious
130 포인트댓글 108

Key Point
현재 추론 중심의 AI 모델들이 진정한 자율 연구 능력을 갖추지 못했다는 구체적인 사례와 제약을 보여주며, 마케팅과 실제 성능의 괴리를 드러낸다.
핵심 요약
- AI가 자율적으로 연구개발을 수행할 수 있다는 주장에 회의적인 견해를 제시한다.
- 저자가 모니터링한 여러 프로젝트에서 AI 모델의 판단이 기본적인 수준에서 매우 부족했다.
- 한 사례로 학술 해커톤 논문 심사에서 리뷰한 8편 모두 판그램 벤치마크에서 60~95% 점수를 받았으나 방법론적 결함이 유사했다.
- 빠른 피드백을 받는 언덕 오르기 같은 특정 작업에서는 효과가 있었다는 점을 인정한다.
- 스크래블 합법 수를 나열하는 과제에서 Astra 모델을 반복 프롬프팅으로 10배 개선했으나, 가장 큰 도약은 저자가 제안한 게임 전체 측정과 남은 블랭크 타일 수에 따른 알고리즘 설계였다.
- Astra와 Claude 같은 모델들은 보고서를 극도로 이해하기 어렵게 작성하며, 실제 수행 내용과 핵심 결과를 파악하려면 질의응답이 필요하다고 지적한다.
- 문제의 핵심은 새 모델이 아니라 공개 모델과의 성능 격차를 좁히는 데 관련된 작업에 적용되는 조향(steering) 정도라고 주장한다.
- OpenAI와 Anthropic이 모두 AI 안전 연구 작업에서 성능 격차에 관한 연구를 발표했다고 언급한다.