쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3647건
10건 · "에이전트 훈련"조건 지우기 ×
001 21:11 ▲ 28 · 댓글 2 반복되는 작업을 스스로 학습하게 하는 에이전트 훈련법 Qwen, Llama, Gemini 등의 언어모델 에이전트가 장시간 작업 중 같은 도구를 재호출해 동일한 결과를 얻는 '루프' 현상을 보이고, 컨텍스트 압축 시 더 심해진다. AI · 머신러닝 · DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
Key Point 장시간 작업을 하는 AI 에이전트의 비효율을 근본적으로 줄일 수 있는 훈련 기법으로, 추가 라벨링 없이 에이전트 자신의 경험으로부터 학습하는 방식을 제시한다.
핵심 요약
Qwen, Llama, Gemini 등의 언어모델 에이전트가 장시간 작업 중 같은 도구를 재호출해 동일한 결과를 얻는 '루프' 현상을 보이고, 컨텍스트 압축 시 더 심해진다. DeLoop는 이런 루프를 줄이기 위한 자기지도 학습 방법으로, 에이전트 자신의 실행 기록에서 감독 신호를 얻는다. 같은 작업 실행 내에서 반복된 액션을 부정 사례, 그 이후 처음 나오는 다른 액션을 긍정 사례로 삼아 직접 선호도 최적화로 학습한다. 전체 요약 6문장 읽기 → 002 15:11 ▲ 14 · 댓글 2 코딩 에이전트 훈련, 정책뿐 아니라 도구까지 기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다. AI · 머신러닝 · Training the Whole Agent, Not Just the Model
Key Point 코딩 에이전트의 훈련 방식을 근본적으로 바꾸면서 SWE-bench에서 유의미한 성능 향상을 보여줘, 실제 소프트웨어 엔지니어링 작업을 자동화하는 에이전트의 실용성이 높아진다.
핵심 요약
기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다. HarnessAdapt-RL은 강화학습 중 정책과 함께 에이전트의 도구·훅을 적응시키는 방식이다. 잘못된 수리 전략에는 고정된 교사 모델이 작업별 메커니즘 레벨의 스킬을 생성하고, 여러 작업에 반복되는 상호작용 문제에는 별도 교사 모델이 도구와 훅을 진화시키되 통과율이나 학습 가능한 비율을 개선할 때만 유지한다. 전체 요약 6문장 읽기 → 003 18:11 ▲ 154 · 댓글 2 모바일·PC 통합 GUI 에이전트 학습 플랫폼 MAI-Gym 공개 강화학습으로 수학, 코딩, 도구 사용에서 진전을 이뤘으나, GUI 에이전트는 상호작용 환경 구축 비용이 높고 학습 태스크가 부족해 확장이 어려웠다. AI · 머신러닝 · MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments
Key Point 모의 앱에서 학습한 모델이 실제 기기에 직접 전이되는 결과는 GUI 에이전트 실용화의 큰 진전을 의미하며, 공개 플랫폼과 데이터셋은 이 분야의 반복 가능한 연구를 크게 가속화할 것으로 보인다.
핵심 요약
강화학습으로 수학, 코딩, 도구 사용에서 진전을 이뤘으나, GUI 에이전트는 상호작용 환경 구축 비용이 높고 학습 태스크가 부족해 확장이 어려웠다. Hugging Face가 모바일·PC·웹 환경에서 GUI 에이전트 평가와 온라인 강화학습 훈련을 통합하는 오픈소스 플랫폼 MAI-Gym을 공개했다. 통합 롤아웃 파이프라인으로 평가와 훈련 시 일관된 에이전트 동작을 보장하며, 10개 기존 벤치마크를 지원하고 2만 개 병렬 환경 인스턴스로 확장 가능하다. 전체 요약 7문장 읽기 → 004 18:11 ▲ 76 · 댓글 2 강화학습 에이전트 최적화, 방법 많다고 더 나을까 에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다. AI · 머신러닝 · More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
Key Point 에이전트 강화학습의 자기증류 방법이 계속 제안되는 가운데, 실제로 더 많은 방법이 더 나은 성능을 보장하지 않는다는 점이 중요하기 때문에 방법론 선택과 연구 방향에 영향을 미친다.
핵심 요약
에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다. 연구팀은 10가지 대표 방법을 GRPO와 함께 ALFWorld, ScienceWorld, Search-QA, WebShop에서 3가지 모델 크기로 비교했으며, 132개 훈련 실행과 총 12,124.4시간의 H800 GPU를 사용해 8개 롤아웃 시드로 반복 평가했다. 최종 성능 외에 훈련 진행률, 안정성, 측정된 계산 비용을 조사했고, GRPO 대비 성능 향상이 제한적이며 모든 설정에서 지속적으로 뛰어난 방법이 없음을 발견했다. 전체 요약 5문장 읽기 → 005 06:11 ▲ 10 · 댓글 1 에이전트가 직접 학습 환경을 설계하는 자동화 시스템 등장 터미널 에이전트의 강화학습 훈련에는 다양하고 검증 가능한 환경이 필요하지만, 지금까지 환경 설계는 인간 연구자가 수행해야 했다. AI · 머신러닝 · AutoEnvScaling: Automating the Data Flywheel with Terminal Agents
Key Point 터미널 에이전트 훈련의 가장 큰 병목이었던 환경 설계를 자동화함으로써, 모델의 자율적 성장과 비용 효율성을 동시에 달성하는 경로를 보여준다.
핵심 요약
터미널 에이전트의 강화학습 훈련에는 다양하고 검증 가능한 환경이 필요하지만, 지금까지 환경 설계는 인간 연구자가 수행해야 했다. AutoEnvScaling은 환경 설계를 터미널 작업으로 재정의해 에이전트가 자동으로 학습 환경을 생성하도록 한다. 제안 에이전트가 풀이 에이전트의 실행 롤아웃을 바탕으로 새로운 강화학습 환경을 구축하고, 그 결과가 다음 훈련 라운드를 안내한다. 전체 요약 8문장 읽기 → 006 21:11 ▲ 64 · 댓글 1 장기 작업 에이전트 훈련을 위한 반복적 환경 진화 방식 WorkRover 강화학습을 통해 장기 수행 에이전트를 훈련하기 위해서는 상호작용 환경을 확장하는 것이 중요하지만, 기존 구성 파이프라인은 작업 요소들을 정렬한 채 반복 개선을 지원하는 데 제한이 있다. AI · 머신러닝 · WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution
Key Point 장기 작업을 수행하는 AI 에이전트의 훈련 효율을 대폭 개선하는 새로운 프레임워크로, 복잡한 작업 환경을 자동으로 정제하고 검증하는 방식이 기존 대비 크게 나은 성능을 달성했다.
핵심 요약
강화학습을 통해 장기 수행 에이전트를 훈련하기 위해서는 상호작용 환경을 확장하는 것이 중요하지만, 기존 구성 파이프라인은 작업 요소들을 정렬한 채 반복 개선을 지원하는 데 제한이 있다. WorkRover는 하니스 기반 합성으로 구성 에이전트가 의미론적으로 정렬된 작업 맥락, 실행 가능한 작업, 증거 기반 검증자를 함께 구축하고 고정 워크플로우 대신 작업공간 상태와 실행 피드백에 맞춰 조치하는 프레임워크다. 환경 진화를 지원하기 위해 의존성 폐쇄 재실행과 검증된 후보 중 가장 작은 수정안을 선택하는 Factorial Compatibility Replay(FCR)를 도입했다. 전체 요약 5문장 읽기 → 007 09:11 ▲ 30 · 댓글 2 언어 모델 에이전트를 위한 숨은 표현 자기증류 기법 제안 언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다. AI · 머신러닝 · PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
Key Point 강화학습 기반 에이전트 훈련에서 은닉 상태 정렬이라는 새로운 자기증류 방식으로 기존 방법보다 상당히 높은 성능 개선을 이루었으며, 외부 자원 없이 단순한 구조로 실용적이다.
핵심 요약
언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다. 연구팀은 스킬이 응답 토큰의 80% 이상에서 은닉 상태를 변화시키며, 이 변화를 선형 프로브로 추적할 수 있다는 점을 발견했다. 이를 바탕으로 PR-OPD(Privileged Representation On-policy Self-Distillation) 방법을 제안하며, GRPO 사전학습 후 정책이 각 궤적에 대해 후지학적 스킬을 작성한다. 전체 요약 6문장 읽기 → 008 18:33 ▲ 10 · 댓글 2 기존 과학 소프트웨어로 터미널 에이전트 자동 훈련 과학·전문 영역의 터미널 에이전트 훈련에는 실행 가능한 참조 동작과 의미적 정확성을 검증할 도메인별 검증기가 필요한데, 각 작업마다 이를 수작업으로 구축해야 하는 문제가 있다. AI · 머신러닝 · Self-Supervised Scaling of Terminal Environments for Scientific Domains
Key Point 기존 소프트웨어 워크플로우를 재사용하는 자체 지도 학습으로 도메인별 훈련 데이터 구축 비용을 대폭 줄이면서도 검증된 고품질 데이터를 얻을 수 있는 방법이 제시되었다.
핵심 요약
과학·전문 영역의 터미널 에이전트 훈련에는 실행 가능한 참조 동작과 의미적 정확성을 검증할 도메인별 검증기가 필요한데, 각 작업마다 이를 수작업으로 구축해야 하는 문제가 있다. 연구팀이 '소프트웨어 루프 내 재구성(Software-in-the-Loop Reconstruction, SWR)'이라는 자체 지도 학습 프레임워크를 제안했다. 이 방법은 기존 소프트웨어 워크플로우(구조화된 입력을 출력으로 매핑하는 실행 가능한 프로그램)에서 참조 출력과 검증 대상을 추출한다. 전체 요약 8문장 읽기 → 009 06:11 ▲ 20 · 댓글 2 다단계 작업에서 언어 모델이 실수를 예방하고 회복하는 법 다중 턴 에이전트 훈련에서 초기에 발생한 하나의 잘못된 행동이 이후 상태를 왜곡해 오류가 누적되는 문제를 발견했다. AI · 머신러닝 · PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents
Key Point 초기 실수를 예방하면서 동시에 회복하는 훈련 방식으로, 다중 턴 작업 에이전트의 오류 누적 문제를 직접 해결하는 실용적 접근이다.
핵심 요약
다중 턴 에이전트 훈련에서 초기에 발생한 하나의 잘못된 행동이 이후 상태를 왜곡해 오류가 누적되는 문제를 발견했다. Qwen3 3개 모델(8B~235B) 실험에서 실패한 시도의 50% 이상이 '중추적 실수'(작업 완료를 더 멀게 하는 행동)를 포함하고 있으며, 이는 대부분 초기에 발생한다. 놀랍게도 이러한 중추적 실수 후 몇 턴의 지도만으로도 작업 성공을 복구할 수 있다. 전체 요약 7문장 읽기 → 010 16:18 ▲ 127 · 댓글 3 소스코드만으로 강화학습 환경 자동 구축하는 CodeMidas CodeMidas는 오픈소스 저장소의 소스코드만을 이용해 5,545개 강화학습 환경을 자동 구축했다. AI · 머신러닝 · CodeMidas: Scaling Agentic Coding RL Environments from Code Itself
Key Point 소스코드 자체만으로 대규모 RL 환경을 자동 구축해 코딩 에이전트 훈련의 확장성 문제를 해결했으며, 실제 벤치마크에서 10~17%의 성능 향상을 달성했기 때문이다.
핵심 요약
CodeMidas는 오픈소스 저장소의 소스코드만을 이용해 5,545개 강화학습 환경을 자동 구축했다. 에이전트가 코드베이스의 기능을 탐색하여 명세를 작성하고, 실행 기반 테스트를 생성한 뒤 검증하는 3단계 파이프라인을 거친다. 23개 프로그래밍 언어와 15개 기술 도메인의 3,185개 코드베이스에서 수집되었다. 전체 요약 5문장 읽기 → 
