AI 에이전트가 독립적으로 언어모델 학습, 인간 피드백으로 개선

핵심 요약

• AI 에이전트가 자율적으로 언어모델을 학습하고 사용자 피드백으로 개선할 수 있는지 확인하는 RSI Arena 연구를 공개했다.
• 10개 프론티어 모델을 학습 에이전트로 사용해, 각각 1,000 GPU시간과 $300의 API 크레딧을 주고 6일간 독립적으로 데이터 선택·학습·체크포인트 선택을 하게 했다.
• 모든 10개 에이전트가 작동하는 어시스턴트를 만들었으며, GPT-6 Astra가 학습한 최강 모델은 12개 성능 벤치마크에서 기본 모델과 Instruct 버전의 중앙값 차이의 76%를 좁혔다.
• 이 모델의 인간 선호도 평가는 응답 길이와 형식을 통계 조정한 후 NVIDIA Instruct 버전과 비슷한 수준이었다.
• 2단계에서 각 에이전트는 1단계 모델의 비교 기록과 투표 결과를 받고 3일을 더 가져 추가 학습을 했다.
• 2단계 평가에서 10개 모델 중 8개가 스타일 조정 상대 평가 점수에서 1단계 대비 개선을 보였다.
• 벤치마크 성능 향상은 미미했으며 선호도 향상과 명확한 연관성이 없었고, 일부 에이전트는 더 긴 응답을 생성하도록 유도했으며 한 모델은 StrongREJECT에서 해로운 응답 준수가 증가했다.
• RSI Arena는 인간 피드백이 자율적인 모델 개발을 어떻게 이끌 수 있는지 연구하는 감시 가능한 설정을 제공하며, 사람들이 자신들이 사용하는 AI 시스템의 개선이 무엇을 의미하는지 정의하는 데 도움을 주는 재귀적 자기개선(RSIHF) 방향의 한 걸음이다.