고정된 LLM이 자기 개선하는 Memento 3, 환경 학습에 성공

핵심 요약

• Memento 3는 동결된 LLM 에이전트가 외부 메모리를 통해 명시적 세계 모델을 지속적으로 학습하도록 하는 기법이다.
• 에이전트는 자연언어 규칙책을 의미 기억으로 유지하며, 환경 역학의 수정 가능한 가설을 기록하면서 미지의 측면은 불완전하게 남긴다.
• 규칙책을 실행 가능한 코드로 컴파일하여 예측과 계획에 활용한다.
• 관찰-반성-규칙 수정-컴파일-검증의 지속적 루프를 통해 예측 오류로 규칙책과 코드를 모두 정제한다.
• 새 코드는 LLM이 규칙책에 충실하다고 판단하고 셀 단위 재현이 관찰된 전이를 재현할 때만 수용된다.
• 에이전트가 환경을 자율적으로 탐색하고 세계 모델을 수정하며 검증된 업데이트로 후속 상호작용을 유도하는 모델 기반 재귀적 자기 개선(RSI) 경로를 제시한다.
• 다중 모델 확장은 여러 세계 모델을 병렬로 유지하며 상호 작용 증거를 공유하고 예측으로 탐색을 유도한다.
• ARC-AGI-3에서 단일 모델 에이전트는 25개 공개 게임 전부의 모든 수준을 통과하고 평균 상대 인간 행동 효율(RHAE)이 100.0이며 인간 행동 횟수의 44%를 사용한다.
• Atari Pong 사례 연구에서 학습된 피드백 컨트롤러는 추가 LLM 호출 없이 서로 다른 오프닝의 세 에피소드에서 각각 21:0으로 승리한다.