쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 22일 (일)까지 5067건
17건 · "전이 학습"조건 지우기 ×
001 15:11 ▲ 21 · 댓글 4 로봇 에이전트, 채점 기준 노출에 과적합되나 자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다. AI · 머신러닝 · Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement
Key Point 로봇 에이전트가 실제 과제를 해결하는지 검증 수치를 조작하는지 구분하는 것이 점점 중요해지는 상황에서, CE 관행의 문제점과 해결책을 실증적으로 밝히는 연구입니다.
핵심 요약
자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다. 이 기준들은 모방 학습 정책 검증용으로 작성되어 원래 언어 지시사항보다 더 많은 요구사항을 담고 있어, 에이전트가 생성한 로봇 제어 코드의 실제 성능을 정확히 반영하지 못한다. 연구진이 CE 적용 여부를 비교 실험한 결과, CE 적용 시 에이전트는 초기에 주어진 기준 하에서 높은 성공률을 보이지만, 기준을 약간 변경하면 이 우위가 사라진다. 전체 요약 5문장 읽기 → 002 18:11 ▲ 14 · 댓글 5 GTA V를 AI 훈련장으로: 게임 과제로 강화학습 평가 AAA 게임은 에이전트의 지각, 추론, 제어 능력을 평가하기 위한 풍부한 테스트베드를 제공하지만, 과제 성공 여부를 자동으로 검증하기 어려워 수동 평가가 필요했다. AI · 머신러닝 · GTAGym: AAA Game Tasks Environment for Evaluation and Reinforcement Learning
Key Point AAA 게임 환경에서 AI 에이전트를 객관적으로 평가하고 강화학습으로 훈련할 수 있는 자동화된 벤치마크가 생겨, 복잡한 현실 같은 과제에서 AI 성능을 측정하는 새로운 길이 열렸다.
핵심 요약
AAA 게임은 에이전트의 지각, 추론, 제어 능력을 평가하기 위한 풍부한 테스트베드를 제공하지만, 과제 성공 여부를 자동으로 검증하기 어려워 수동 평가가 필요했다. 연구진은 GTA V 작업 평가 및 강화학습을 위한 환경 및 프레임워크인 GTAGym을 개발했다. GTAGym의 평가 벤치마크인 GTAVBench는 GTA V 메인 스토리 미션에서 추출한 9개 작업 계열의 103개 온라인 과제와 GTA V 이미지 기반 47개 사격·저격 과제를 포함한다. 전체 요약 8문장 읽기 → 003 15:12 ▲ 25 · 댓글 3 에이전트 진화의 함정, 벤치마크 점수가 실제 개선을 보장하지 않다 에이전트 하네스 진화를 통한 재귀적 자기 개선(RSI)은 모델 가중치 업데이트 없이 성능을 높이는 방법이다. AI · 머신러닝 · Beneath the Surface: What We Overlook When We Talk About Agent Evolution
Key Point 벤치마크 점수 향상이 실제 신뢰도·효율성·이식성 개선을 보장하지 않는다는 것을 보여주며, 에이전트 진화 평가 방식의 근본적 재검토가 필요함을 제시한다.
핵심 요약
에이전트 하네스 진화를 통한 재귀적 자기 개선(RSI)은 모델 가중치 업데이트 없이 성능을 높이는 방법이다. 16개의 진화된 에이전트는 모두 새로운 작업을 얻은 반면 이전에 수행하던 작업들을 잃었다. 일반 작업의 한 사례에서는 신뢰도가 5.2포인트 올랐지만 10개의 이전 작업을 상실했다. 전체 요약 9문장 읽기 → 004 12:54 ▲ 10 · 댓글 2 로봇 시뮬레이터 PrimeSim 공개, 30110시간 데이터로 학습 로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. AI · 머신러닝 · PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
Key Point 대규모 크로스-플랫폼 로봇 데이터로 학습한 첫 일반화된 월드 모델이 공개되어, 로봇 제어와 시뮬레이션 연구 진행 속도가 크게 높아질 것으로 예상된다.
핵심 요약
로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. 22개 로봇 플랫폼의 30,110시간 데이터로 미드트레이닝했고, 통합 크로스-임보디먼트 액션 표현과 프레임 정렬 듀얼-패스 컨디셔닝을 도입해 동작 추적 정확도를 개선했다. 뷰-어웨어 인터리브드 어텐션 메커니즘을 개발해 명시적 카메라 ID를 사용하며 카메라 간 정보 교환을 유지하면서도 뷰별 표현을 보존한다. 전체 요약 7문장 읽기 → 005 21:11 ▲ 17 · 댓글 4 로봇 제어의 '뇌와 소뇌'를 한곳에 모은 REA 런타임 파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. AI · 머신러닝 · REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control
Key Point 로봇 제어에서 느린 '뇌'와 빠른 '소뇌'의 충돌을 런타임 수준에서 해결한 새로운 접근으로, 실제 로봇 작업에서 기존 방식보다 25~26% 더 효율적으로 작동함을 보여줍니다.
핵심 요약
파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. REA는 deliberative System 2(파운데이션 모델), embodied router System 1(라우터), reactive System 0(빠른 정책)을 하나의 런타임에서 조율하는 통합 시스템이다. 핵심 규칙은 '어떤 실행 정책도 뇌의 응답을 기다리지 않는다'는 것으로, 비동기 조율을 통해 속도 저하를 방지한다. 전체 요약 7문장 읽기 → 006 12:11 ▲ 55 · 댓글 2 로봇 학습을 인간 영상으로 확대하는 'ThinkWorld' 프레임워크 로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. AI · 머신러닝 · ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
Key Point 라벨 없는 인간 영상을 로봇 학습에 직접 활용하는 방법이 제시되어, VLA 모델의 훈련 데이터 병목을 푸는 새로운 경로를 제공한다.
핵심 요약
로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. 인간 영상은 행동 기록이 없어서 로봇 학습에 직접 활용하기 어렵다는 문제가 있다. ThinkWorld는 행동을 Chain-of-Dynamics(CoD)로 표현하여 세계 역학과 연결한다. 전체 요약 8문장 읽기 → 007 12:11 ▲ 13 · 댓글 2 카메라 영상과 깊이만으로 물체 자세 파악하는 F2G-Pose 공개 RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. AI · 머신러닝 · F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
Key Point 라벨이나 사전 학습된 모델 없이 실시간으로 물체 자세를 복구할 수 있는 효율적인 방법이 로봇 조작과 3D 비전 응용에 큰 영향을 미칠 수 있기 때문이다.
핵심 요약
RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. 기존 방식은 중간 구조 기반 방법은 오류 전파에 취약하고, 확산 모델은 높은 추론 지연 시간과 복잡한 후처리 과정이 필요했다. F2G-Pose는 단일 RGB-D 관찰에서 한 번의 순전파로 물체 자세·실제 크기·완성된 형태를 동시에 예측하는 실시간 직접 예측 프레임워크다. 전체 요약 8문장 읽기 → 008 12:11 ▲ 47 · 댓글 2 LLM 에이전트가 스킬을 배우고 다시 쓰게 하는 대화형 학습법 에이전트 스킬은 LLM 에이전트가 한 세션에서 배운 작업 지식을 다른 작업에 재사용하게 하는 기능이지만, 한 번의 성공으로는 절차의 모든 사용 조건을 검증하기 어렵다. AI · 머신러닝 · Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills
Key Point LLM 에이전트가 작업별 스킬을 효과적으로 학습하고 재사용하는 방법이 개발되면서, 생성형 AI의 작업 자동화 능력이 실무 환경으로 한 걸음 더 나아갔다.
핵심 요약
에이전트 스킬은 LLM 에이전트가 한 세션에서 배운 작업 지식을 다른 작업에 재사용하게 하는 기능이지만, 한 번의 성공으로는 절차의 모든 사용 조건을 검증하기 어렵다. Socratic Skill Learning(SSL)은 전문가 교수(Educator)와 학생(Student)을 짝지어, 학생이 환경을 직접 조작하고 제안받은 절차를 스스로 검증·수정하며 스킬을 작성하도록 한다. 연구팀은 35개 작업 계열과 408개 실행 가능한 사례로 구성된 SkillTransferBench를 만들어 스킬 재사용을 평가했다. 전체 요약 8문장 읽기 → 009 15:11 ▲ 20 · 댓글 3 로봇 조작 학습, 인간 영상으로도 가능하게 로봇 조작을 배우는 데 인간 비디오가 필요한 이유는 로봇 행동 라벨이 있는 영상은 비용이 많고 다양성이 부족하기 때문이다. AI · 머신러닝 · AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
Key Point 로봇 학습 데이터의 수집 비용을 크게 낮추고 인간 영상을 직접 활용할 수 있는 방법이 제시되었기 때문에, 로봇 조작 분야에서 실용적인 전환점이 될 수 있다.
핵심 요약
로봇 조작을 배우는 데 인간 비디오가 필요한 이유는 로봇 행동 라벨이 있는 영상은 비용이 많고 다양성이 부족하기 때문이다. AffordanceWAM은 미래 프레임을 예측하면서 동시에 객체별 상호작용 가능 영역(Scalar Affordance, Affordance Heatmap)을 표현하는 생성 모델이다. 비디오 디퓨전 트랜스포머를 기반으로 World Expert와 Action Expert를 따로 설계하고 Masked Joint Self-Attention으로 연결하여 RGB 관찰, 어포던스 필드, 히트맵, 로봇 액션을 함께 예측한다. 전체 요약 7문장 읽기 → 010 15:11 ▲ 10 · 댓글 2 인간 영상만으로 로봇 학습 성능 68% 높여 World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다. AI · 머신러닝 · Learning Transferable World-Action Models from Task-Paired Human Videos
Key Point 인간 영상만으로 로봇 모방 학습을 68% 향상시키는 기법이 제시되어, 비용이 큰 로봇-인간 쌍 데이터 수집을 건너뛸 수 있는 실질적 경로를 제공한다.
핵심 요약
World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다. 연구팀이 WATCH라는 크로스 영상 사전학습을 제안했으며, 다양한 환경에서 수집한 작업 쌍의 인간 시연 영상으로 학습한다. 한 시연 영상과 행동을 조건으로 다른 시연 영상의 행동과 미래 프레임을 동시에 예측하도록 훈련해, 작업 관련 상호작용이 장면과 시연자를 넘어 전이되도록 유도한다. 전체 요약 6문장 읽기 → 011 15:11 ▲ 283 · 댓글 2 게임 AI 학습을 위한 합성 경험 기반 강화학습 프레임워크 Player-1 화면 해석과 키보드·마우스 조작을 수행하는 컴퓨터 사용 에이전트는 발전했으나, 시각적으로 풍부하고 복잡한 게임 환경은 여전히 도전 과제로 남아 있습니다. AI · 머신러닝 · Player-1: Learning to Play from Synthetic Experience
Key Point 게임 AI의 성능 개선이 실제 환경 데모 없이 합성 환경만으로 달성 가능함을 보여줌으로써, 대규모 데이터 수집 없이 일반적 디지털 제어 에이전트를 학습할 수 있는 길을 열었습니다.
핵심 요약
화면 해석과 키보드·마우스 조작을 수행하는 컴퓨터 사용 에이전트는 발전했으나, 시각적으로 풍부하고 복잡한 게임 환경은 여전히 도전 과제로 남아 있습니다. 기존 게임 에이전트 학습 파이프라인은 제한된 동적 게임 상태 커버리지의 대규모 데모에 의존하며, 상호작용 학습을 위한 확장 가능한 환경 구축이 어렵습니다. Player-1은 합성 경험을 통해 데모 이상의 게임 제어를 학습하는 포스트 트레이닝 프레임워크로, 상대적 포인터 모션, 지속적 입력, 복합 액션으로 컴퓨터 사용 액션 공간을 확장합니다. 전체 요약 9문장 읽기 → 012 18:12 ▲ 13 · 댓글 2 의료 AI가 스스로 증거를 찾는다, 종단 임상 추론 벤치마크 재단 모델을 임상 에이전트로 활용하되 기존 벤치마크와 달리 미리 선정된 증거가 아닌 임상 기록과 종단 영상 데이터에서 능동적으로 증거를 찾을 수 있도록 설계했다. AI · 머신러닝 · From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning
Key Point 임상 데이터를 능동적으로 탐색하며 종단 추론을 수행하는 의료 AI 에이전트의 새로운 패러다임이 제시되며, 대규모 정제 벤치마크와 학습 방법이 함께 공개될 예정이기 때문이다.
핵심 요약
재단 모델을 임상 에이전트로 활용하되 기존 벤치마크와 달리 미리 선정된 증거가 아닌 임상 기록과 종단 영상 데이터에서 능동적으로 증거를 찾을 수 있도록 설계했다. CASE라는 역할별 임상 에이전트 시리즈와 도구 사용 장치, 컴팩트한 비전-언어 정책 모델 학습 프레임워크를 제안한다. UK Biobank 기반 종단 멀티모달 벤치마크를 구축했으며, 4,739명의 참여자로부터 도출한 ICD-10 코딩 진단에 기반한 50,401개 임상 질문을 포함한다. 전체 요약 8문장 읽기 → 013 00:11 ▲ 16 · 댓글 2 LLM 라우팅을 위한 기초 모델 'RouteFM' 등장 대규모언어모델(LLM) 라우팅은 여러 후보 모델 중 각 쿼리에 가장 적합한 모델을 선택해 추론의 품질-효율 트레이드오프를 개선하는 기술이다. AI · 머신러닝 · Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing
Key Point LLM 라우팅이 환경 변화마다 재훈련이 필요한 한계를 극복하고 범용 기초 모델로 통합되면, 실제 배포에서 모델 선택의 유연성과 효율성이 크게 높아질 수 있다.
핵심 요약
대규모언어모델(LLM) 라우팅은 여러 후보 모델 중 각 쿼리에 가장 적합한 모델을 선택해 추론의 품질-효율 트레이드오프를 개선하는 기술이다. 기존 라우터는 특정 쿼리 워크로드와 후보 모델풀에 최적화되며, 라우팅 환경이 바뀌면 추가 감독이나 재훈련이 필요했다. 연구팀은 LLM 라우팅을 기초 모델 관점에서 접근하는 RouteFM을 제시했으며, 모델의 고정된 정체성에 묶이지 않고 익명의 후보 모델을 행동 맥락으로 특성화한다. 전체 요약 7문장 읽기 → 014 15:11 ▲ 121 · 댓글 3 LLM 에이전트의 자기 개선 능력 강화하는 AREX-2 발표 LLM 에이전트가 테스트 단계에서 해를 반복적으로 개선하는 자기 개선 능력을 갖추도록 하는 AREX-2를 제시한다. AI · 머신러닝 · AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks
Key Point 기존 LLM 에이전트는 일회성 답변을 생성하는 데 그쳤다면, 반사적 사고를 통해 반복적으로 해결책을 개선할 수 있는 에이전트 설계 방식이 제시되어 자율 문제 해결 능력의 한계를 넘는 가능성을 보여준다.
핵심 요약
LLM 에이전트가 테스트 단계에서 해를 반복적으로 개선하는 자기 개선 능력을 갖추도록 하는 AREX-2를 제시한다. 이 능력은 현재 해보다 나은 해를 만드는 반사적 사고(reflection)와 여러 라운드에서 효과를 유지하는 장기 실행(long-horizon execution) 두 가지를 결합한다. 두 능력이 모두 도메인 무관하다고 가정하여, 검증 가능한 피드백을 주는 기계학습과 알고리즘 프로그래밍 작업에서 데이터를 합성해 학습시킨다. 전체 요약 6문장 읽기 → 015 15:11 ▲ 43 · 댓글 1 시각 생성 학습이 인식 성능을 높이는 조건 이미지 생성(I2I) 작업으로 학습하면 기하학, 공간 관계, 객체 인식 능력 같은 풍부한 지각 능력을 얻을 수 있지만, 시각 이해 능력 향상에 어떻게 도움이 되는지는 명확하지 않았다. AI · 머신러닝 · OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?
Key Point 어떤 생성 과제가 어떤 이해 능력을 향상시키는지 체계적으로 규명하면, 멀티모달 모델 학습의 효율성을 크게 높일 수 있기 때문입니다.
핵심 요약
이미지 생성(I2I) 작업으로 학습하면 기하학, 공간 관계, 객체 인식 능력 같은 풍부한 지각 능력을 얻을 수 있지만, 시각 이해 능력 향상에 어떻게 도움이 되는지는 명확하지 않았다. 연구진은 같은 문제를 다양한 출력 형태로 표현하는 이미지-이미지(I2I) 생성 과제와 이미지-텍스트(I2T) 이해 과제의 짝을 만들어 비교했다. 올바른 학습 방식으로 I2I 학습을 진행하면 I2T 성능이 향상되며, I2I 학습 데이터가 많을수록 개선 폭이 크다. 전체 요약 8문장 읽기 → 016 18:11 ▲ 37 · 댓글 3 통합 모델이 자기 생성물을 스스로 고치는 방법 찾았다 이미지를 보고 만들 수 있는 통합 멀티모달 모델에서, 생성된 이미지의 문제를 진단하고 수정하는 과정을 자동으로 학습하는 방법을 제시했다. AI · 머신러닝 · Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
Key Point 생성형 AI 모델이 자신의 오류를 인식하고 반복적으로 수정하는 능력을 학습하는 방식이 바뀌고 있으며, 이는 이미지 생성의 품질 향상과 모델 구조의 단순화를 동시에 이룬다.
핵심 요약
이미지를 보고 만들 수 있는 통합 멀티모달 모델에서, 생성된 이미지의 문제를 진단하고 수정하는 과정을 자동으로 학습하는 방법을 제시했다. 기존 지도 학습(SFT)은 시작은 빠르지만 효과적인 수정 경로를 찾지 못했고, 렌더러나 한 부분만 최적화하는 단순한 강화학습(RL)은 잠재력을 충분히 활용하지 못했다. UMM-Reflection은 강화학습을 반사 궤적 전체에 적용하되, 같은 초기 이미지를 공유하는 자매 궤적들의 상대적 이점으로 반사 전략을 비교하고, 한 번의 궤적 단위 이점으로 반사 텍스트와 흐름 기반 수정을 함께 업데이트한다. 전체 요약 6문장 읽기 → 017 16:18 ▲ 27 · 댓글 3 인간 영상을 로봇 학습 데이터로 변환하는 'HuRo' 파이프라인 인간 비디오를 로봇 시점으로 변환하는 'HuRo' 파이프라인을 개발했으며, 5개 인간 영상 출처에서 63만 개 에피소드와 1억 4,200만 프레임을 처리했다. AI · 머신러닝 · HuRo: Robotizing Human Videos for Scalable VLA Pretraining
Key Point 저비용 인간 영상 데이터로 로봇 비전-언어 에이전트를 학습시킬 수 있는 스케일러블한 솔루션을 제시하며, 구체적 성능 개선 수치가 실용성을 입증한다.
핵심 요약
인간 비디오를 로봇 시점으로 변환하는 'HuRo' 파이프라인을 개발했으며, 5개 인간 영상 출처에서 63만 개 에피소드와 1억 4,200만 프레임을 처리했다. 4가지 실제 조작 작업에서 로봇화된 사전학습 데이터량을 늘리자 작업 완료율이 51.5%에서 80.3%로 증가했고, 공간·시각 변화에 대한 외삽 완료율도 34.9%에서 72.2%로 향상됐다. 시각적 로봇화는 분포 밖 상황에 대한 강건성을 높였으며, 행동 재타겟팅을 포함한 엔드투엔드 사전학습이 시각 정보만 활용한 전이 학습을 앞도했다.