포스트트레이닝 데이터 공용지는 존재하지 않는다

핵심 요약

• 프리트레이닝은 위키피디아, 스택 오버플로우, arXiv, 프로젝트 구텐베르크, 커먼 크롤 등이 만든 인터넷 공용지에 크게 의존했으며, GPT-3는 60% 이상 커먼 크롤 데이터로 학습했다.
• 포스트트레이닝은 문서 대신 작업(task)을 소비하는데, 인간의 작업은 순간적이고 상황에 맞추어진 반면 강화학습 작업은 고정되고 재현 가능해야 한다.
• 작업을 보존하려면 실행 환경, 의도, 상호작용 도구, 그리고 결과를 평가하는 채점자가 필요하다.
• 소프트웨어는 작업을 가장 잘 보존한 분야로, 버전 관리와 테스트가 발달했지만 소프트웨어조차 작업으로 변환하기는 어렵다.
• 원본 SWE-bench는 깃허브에서 9만여 개 PR을 수집했으나 8분의 1만 매핑 가능했고, 이 중 80%는 실행 불가능하여 최종 2,294개 작업만 남았다.
• OpenAI의 SWE-bench Verified는 93명의 개발자가 수동으로 검토한 결과 3분의 2 이상이 제거 대상이었고, 이후 감사에서 추가로 6분의 1이 손상되었다.
• TaskTrove의 자바 작업 5,000개 중 90% 이상을 폐기해야 했고, 파이썬 부분은 98%가 의존성 누락으로 테스트를 시작조차 못했다.
• 소프트웨어가 이렇게 어려운데, 변호사, 과학자, 의사 등 다른 경제활동을 RL 작업으로 인코딩하기는 훨씬 더 어렵다.
• 프리트레이닝 공용지는 의도치 않게 만들어졌으나(사람들이 웹페이지나 코드를 발행하려고 했지 학습용이 아니었음), 포스트트레이닝 공용지는 의식적으로 구축해야 한다.
• 소수의 대형 기업만 충분한 작업과 환경을 확보할 수 있으면 AI 개발의 방향과 수혜자를 결정하는 권력이 집중된다.
• 포스트트레이닝 공용지가 있다면 대학, 비영리단체, 독립 연구자들이 대형 AI 기업이 우선순위를 두지 않는 역량을 개발할 수 있고, 누구나 AI 정책에 의미 있게 참여할 목소리를 가질 수 있다.
• 포스트트레이닝 공용지 구축은 어렵지만, 이번만큼은 그것을 선택할 수 있다는 점이 다르다.