쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
100건 (최대치) · "강화학습"조건 지우기 ×
001 12:11 ▲ 148 · 댓글 8 라즈베리파이 피코에서 신경망 게임 엔진 구현 임베디드 마이크로컨트롤러인 라즈베리파이 피코 2 W에서 신경망 기반 게임 엔진을 구현했다. 세계 모델 네트워크가 현재 프레임과 액션에서 다음 프레임과 보상을 예측하고, 액터 네트워크가 그 생성된 프레임에서 액션을 선택한다. AI · 머신러닝 · A tiny world model running games on a Raspberry Pi Pico 2 W
Key Point 라즈베리파이 같은 극도로 제한된 임베디드 환경에서 신경망으로 게임을 생성하고 플레이하는 새로운 방식이 작동한다는 것을 보여주며, 마이크로컨트롤러에서 머신러닝 모델을 실행하는 방법의 한계를 재정의한다.
핵심 요약
임베디드 마이크로컨트롤러인 라즈베리파이 피코 2 W에서 신경망 기반 게임 엔진을 구현했다. 세계 모델 네트워크가 현재 프레임과 액션에서 다음 프레임과 보상을 예측하고, 액터 네트워크가 그 생성된 프레임에서 액션을 선택한다. 반복 트랜스포머(looped transformer) 구조를 사용해 같은 가중치를 1~4회 반복 적용함으로써 메모리 효율을 높였다. 26k~131k 매개변수의 세계 모델과 9k~16k 매개변수의 액터 네트워크를 탑재했다. 브레이크아웃(정확도 99.99%), 플래피 버드(100%), 팩맨 라이트(86.4%) 등 5개 게임을 구현했으며, 각 게임은 토큰 기반으로 분할된 프레임을 처리한다. 세계 모델은 배경 셀은 독립적으로 예측하되, 공이나 플레이어 같은 단일체는 한 번만 배치되도록 디코딩 규칙을 적용했다. 전체 요약 12문장 읽기 → 002 00:11 ▲ 260 · 댓글 61 미스트랄, 1조 파라미터 대형 모델 가중치 공개 미스트랄이 1조 파라미터 멀티모달 모델 '르 총크(Le Chonk)'의 가중치를 공개했으며, 3주간의 강화학습으로 코딩과 사이버보안 성능을 크게 향상시켰다. AI · 머신러닝 · Mistral Large 4 (Le Chonk) is now Open Weight
Key Point 오픈가중치 대형 언어 모델의 최강자로 자리잡아 개발사들의 모델 선택지가 크게 늘어날 뿐 아니라, 주권 AI 전략을 추진하는 유럽 기관들과 규제가 엄격한 금융·방위 부문에서 실질적인 대안을 제공하기 시작했다.
핵심 요약
미스트랄이 1조 파라미터 멀티모달 모델 '르 총크(Le Chonk)'의 가중치를 공개했으며, 3주간의 강화학습으로 코딩과 사이버보안 성능을 크게 향상시켰다. FrontierCode 2.0 벤치마크에서 19.7%, Terminal-Bench 4.0에서 41%의 성능을 달성하며 오픈가중치 코딩 모델 중 최고 수준을 기록했다. Artificial Analysis 코딩 에이전트 인덱스에서 48%를 달성하며 GLM-5.3과 동등하지만 평균 47% 적은 토큰을 사용해 효율성이 우수하다. 전체 요약 13문장 읽기 → 003 12:11 ▲ 256 · 댓글 4 디퓨전 언어 모델의 강화학습을 위한 토큰 신용 할당 디퓨전 언어 모델(DLM)은 반복 제거(denoising)로 텍스트를 생성하며 양방향 문맥 모델링과 병렬 토큰 정제가 가능하다. AI · 머신러닝 · DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models
Key Point 디퓨전 모델 기반 언어 모델에 강화학습을 효과적으로 적용하는 방식이 제시되었으며, 토큰별 신용 할당 문제를 해결함으로써 수학 추론 성능에서 실질적 개선을 보였다.
핵심 요약
디퓨전 언어 모델(DLM)은 반복 제거(denoising)로 텍스트를 생성하며 양방향 문맥 모델링과 병렬 토큰 정제가 가능하다. DLM에 강화학습을 적용하면 추론 성능이 개선되지만, 반복 제거 과정에서 토큰별 신용 할당이 어렵다는 문제가 있다. 제안된 DTCA(Denoising Token Credit Assignment) 프레임워크는 토큰 약속 후 남은 마스크 위치의 예측 신뢰도 개선으로 토큰 기여도를 추정한다. 전체 요약 6문장 읽기 → 004 00:11 ▲ 381 · 댓글 4 LLM 에이전트 강화학습, 턴 단위 신용할당으로 최적화 장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다. AI · 머신러닝 · Multiscale Policy Optimization for Long-Horizon LLM Agents
Key Point LLM 에이전트의 장시간 작업에서 어디에 책임을 할당할지 판단하는 방식을 개선함으로써, 복잡한 추론 작업에서 강화학습 효율을 높일 수 있기 때문이다.
핵심 요약
장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다. 현재 방식에서 비평가(critic) 값이 주로 턴(turn) 간에 변화하는 것을 발견했다. 이에 따라 턴 단위에서 최적화하면서 토큰 간 신용할당을 세밀하게 조정할 필요가 있다. 전체 요약 7문장 읽기 → 005 12:11 ▲ 55 · 댓글 2 로봇 학습을 인간 영상으로 확대하는 'ThinkWorld' 프레임워크 로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. AI · 머신러닝 · ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
Key Point 라벨 없는 인간 영상을 로봇 학습에 직접 활용하는 방법이 제시되어, VLA 모델의 훈련 데이터 병목을 푸는 새로운 경로를 제공한다.
핵심 요약
로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. 인간 영상은 행동 기록이 없어서 로봇 학습에 직접 활용하기 어렵다는 문제가 있다. ThinkWorld는 행동을 Chain-of-Dynamics(CoD)로 표현하여 세계 역학과 연결한다. 전체 요약 8문장 읽기 → 006 09:11 ▲ 10 · 댓글 2 멀티모달 AI, 이미지·영상에서 위치 지정과 설명을 동시에 학습하다 이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다. AI · 머신러닝 · Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
Key Point 기존의 분리된 학습 방식에서 벗어나 이미지와 영상의 위치 정렬과 설명을 통합으로 개선하는 새로운 강화학습 접근법이 제시되었으며, 실제 성능 향상으로 검증되었다.
핵심 요약
이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다. CycleGRPO라는 강화학습 프레임워크를 제시하는데, 한 번에 두 방향(영역→설명, 설명→영역)을 배우는 순환 구조로 작동한다. 모델이 영역에 대한 후보 설명을 생성하고, 각 설명을 역으로 정렬해 원래 영역을 재구성한 뒤, 재구성 겹침을 보상으로 사용한다. 전체 요약 9문장 읽기 → 007 03:11 ▲ 28 · 댓글 2 LLM 연구 에이전트가 만든 하스스톤 AI, 최상위 플레이어 능가 LLM 연구 에이전트들로 구성된 자기개선 시스템 AutoTavern이 8인 자동배틀게임 하스스톤 배틀그라운드의 완전한 시뮬레이터를 20일 만에 개발했다. AI · 머신러닝 · Build, Don't Play: Self-Improving LLM Research Agents Develop a Hearthstone Battlegrounds AI That Rivals Top Players
Key Point LLM 에이전트가 자동 개선 루프를 통해 최첨단 게임 AI를 개발하고 인간 최강자를 능가한 사례로, 에이전트 연구의 현실적 가능성과 한계를 보여줍니다.
핵심 요약
LLM 연구 에이전트들로 구성된 자기개선 시스템 AutoTavern이 8인 자동배틀게임 하스스톤 배틀그라운드의 완전한 시뮬레이터를 20일 만에 개발했다. AutoTavern은 특화된 LLM 에이전트들이 타입화된 연구 메모리를 공유하고, 모든 주장이 검증 단계를 거치며, 실제 게임을 통해 피드백 루프가 닫혀 있어 시뮬레이터, 상대 AI, 정책, 연구 과정까지 동시에 개선된다. TavernAgent는 PPO로 학습되어 23개 버전을 거쳤으며, 실제 게임 래더에서 등급이 6,000에서 약 15,000으로 올랐다. 전체 요약 7문장 읽기 → 008 00:11 ▲ 26 · 댓글 2 LLM 에이전트 강화학습의 신용 할당 문제 해결한 ProAS 프레임워크 LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. AI · 머신러닝 · ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Key Point 다단계 추론이 필요한 LLM 에이전트의 강화학습 효율성을 크게 개선하는 방법론이 제시되어, 언어 모델 기반 자동화 시스템의 성능 향상에 직결된다.
핵심 요약
LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. 이 접근 방식은 선호되는 궤적에서 구조적으로 비합리적인 행동을 강화하고, 비선호 궤적에서 각 행동의 하위 편차를 무시한다. ProAS는 동적으로 진화하는 에이전틱 레퍼런스 그래프(ARG)를 활용해 비합리적 인센티브 마스킹(MUI)과 비대칭 페널티 재배분(APR)을 통한 세밀한 신용 할당을 구현한다. 전체 요약 5문장 읽기 → 009 00:11 ▲ 24 · 댓글 2 저정밀 연산 RL에서 성능과 안정성을 동시에 확보한 miniTE 공개 Native NVFP4는 대형언어모델(LLM) 강화학습을 가속화할 수 있지만, 학습 엔진과 샘플링 엔진 사이의 수치 실행 일관성 유지가 어려운 문제가 있다. AI · 머신러닝 · miniTE: Diagnosing and Bridging the Execution Gap in Native NVFP4 Reinforcement Learning
Key Point LLM 강화학습에서 저정밀 연산의 수치 안정성 문제를 해결하고 1.4배 이상의 처리 속도 향상을 달성한 기술이 공개되어, 더 효율적이고 저비용의 LLM 학습이 가능해진다.
핵심 요약
Native NVFP4는 대형언어모델(LLM) 강화학습을 가속화할 수 있지만, 학습 엔진과 샘플링 엔진 사이의 수치 실행 일관성 유지가 어려운 문제가 있다. 단순히 모델 가중치와 수치 형식을 맞추는 것만으로는 일관된 정책 평가를 보장할 수 없으며, 크로스 엔진 수치 정렬이 중요함을 확인했다. miniTE는 실행 진단, 크로스 엔진 수치 정렬, W4A4 GEMM 계산을 결합한 경량 프레임워크로, RL 목적함수를 수정하지 않으면서도 수치 일관성을 개선한다. 전체 요약 6문장 읽기 → 010 18:11 ▲ 33 · 댓글 2 LLM 추론 강화에 새로운 액터-크리틱 알고리즘 S3AC 제시 롱 체인-오브-소트(CoT) 추론을 위한 강화학습에서 크리틱(가치함수)을 효과적으로 훈련하는 방법이 부재한 문제를 해결한 논문이다. AI · 머신러닝 · S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
Key Point 대규모 언어 모델의 추론 능력을 효율적으로 향상시키려는 개발자와 연구자에게 확장 가능한 크리틱 훈련 방식을 제시하며, 특히 단일 롤아웃으로 안정적 훈련을 지속하는 기술적 진전이 실무 적용 비용 절감으로 직결된다.
핵심 요약
롱 체인-오브-소트(CoT) 추론을 위한 강화학습에서 크리틱(가치함수)을 효과적으로 훈련하는 방법이 부재한 문제를 해결한 논문이다. 기존 크리틱 없는 방법들은 토큰 수준의 신용 할당이 어렵고 그룹 롤아웃으로 기준선을 추정해야 했다. S3AC는 훈련된 크리틱으로 토큰별 이득과 프롬프트별 기준선을 제공하며, 길이가 다른 궤적의 불충분한 커버리지와 초기 기울기 문제를 해결하는 실용적인 훈련 레시피를 제시한다. 전체 요약 7문장 읽기 → 011 18:11 ▲ 136 · 댓글 2 강화학습 자기 증류로 언어모델 추론 능력 향상 언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. AI · 머신러닝 · Function-Space Temporal Self-Distillation for Policy Optimization
Key Point 언어모델 훈련 효율성과 메모리 사용량을 동시에 개선하는 새로운 자기 증류 방식이 공개되어, 대규모 모델 개발 비용 절감에 관심 있는 연구자와 개발자가 참고할 만하다.
핵심 요약
언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. 자기 증류는 보조 없는 정책과 피드백 기반 자기교사를 비교해 토큰 수준의 밀집된 지도를 제공하지만, 교사 모델이 학생과 함께 진화하면서 불안정한 목표와 추가 정규화의 필요성을 야기한다. 논문은 함수 공간 정책 최적화(FSPO)를 제안하며, 현재 특권화된 적응과 함수 공간 시간적 통합을 하나의 정책 프레임워크에서 결합한다. 전체 요약 8문장 읽기 → 012 18:11 ▲ 12 · 댓글 2 계층형 멀티에이전트 시스템, 온폴리시 증류로 학습 성능 향상 계층형 멀티에이전트 시스템에서 리더(Leader)가 태스크를 할당하고 서브에이전트들이 이를 수행할 때, 최종 답변만으로는 서브에이전트에 대한 직접적 피드백을 얻기 어렵다는 문제가 있다. AI · 머신러닝 · MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
Key Point 멀티에이전트 시스템의 계층적 학습 문제를 해결하는 새로운 방식으로, 간접 피드백만으로도 효과적인 공동 학습이 가능함을 보여준다.
핵심 요약
계층형 멀티에이전트 시스템에서 리더(Leader)가 태스크를 할당하고 서브에이전트들이 이를 수행할 때, 최종 답변만으로는 서브에이전트에 대한 직접적 피드백을 얻기 어렵다는 문제가 있다. MultiAgent-OPD는 온폴리시 증류(on-policy distillation)와 강화학습을 결합해 리더-서처-앤서 팀을 엔드투엔드로 공동 학습한다. 먼저 정답 정확성을 기준으로 서처-앤서 워크플로에서 교사 모델을 학습시킨다. 전체 요약 6문장 읽기 → 013 15:11 ▲ 35 · 댓글 2 통일된 설계 원칙으로 텍스트-이미지 프롬프트 자동 개선 사용자의 불충분한 텍스트 요청을 시각적으로 완성된 프롬프트로 변환하는 Qwen-Image-PE를 발표했다. AI · 머신러닝 · Qwen-Image-PE: Learning Visual Design for Text-to-Image Prompt Enhancement
Key Point 프롬프트 개선이 더 이상 일반적 의미 전달에만 중점을 두지 않고, 조명·구도·미학 같은 시각 설계 원칙을 구체적으로 학습하게 되면서 텍스트-이미지 생성의 품질 천장이 크게 올라간다.
핵심 요약
사용자의 불충분한 텍스트 요청을 시각적으로 완성된 프롬프트로 변환하는 Qwen-Image-PE를 발표했다. 감독된 미세조정과 강화학습 2단계 훈련으로 조명, 구도, 레이아웃, 디테일 등 세부 설계 요소를 학습한다. Caption-Based Reverse Distillation(CRD)은 잘 디자인된 이미지의 밀집 캡션을 설계 지도신호로 사용하고, Groupwise Design Reward(GDR)는 동일 요청의 모든 후보 이미지를 비교해 개선한다. 전체 요약 8문장 읽기 → 014 15:11 ▲ 50 · 댓글 2 보상 해킹을 막는 정밀도 기반 강화학습 루브릭 기반 강화학습은 검증 불가능한 작업에서 효과적이지만, 루브릭 커버리지의 가중치로만 보상을 정의해 재현율만 최대화하는 문제가 있다. AI · 머신러닝 · Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
Key Point 강화학습 보상 함수 설계의 핵심 문제인 목적 왜곡(reward hacking)을 정밀도 메트릭으로 체계적으로 해결하는 방법이 의료·건강 등 신뢰도가 중요한 분야에서 큰 성능 개선을 보여주고 있다.
핵심 요약
루브릭 기반 강화학습은 검증 불가능한 작업에서 효과적이지만, 루브릭 커버리지의 가중치로만 보상을 정의해 재현율만 최대화하는 문제가 있다. 이로 인해 RL 학습 모델은 내용이 길고 불필요하거나 사실적으로 틀린 부분이 많아져 기본 모델보다 선호도가 낮아진다. 이를 해결하기 위해 FORK 보상을 제시하는데, 이는 재현율과 함께 정밀도 목적을 동시에 최적화한다. 전체 요약 7문장 읽기 → 015 12:11 ▲ 28 · 댓글 2 로봇 모방학습을 위한 다양한 시연 자동 발굴 기법 로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. AI · 머신러닝 · DiscoDemo: Discovering Efficient and Diverse Robot Demonstrations for Imitation Learning
Key Point 로봇 모방학습의 데이터 커버리지 문제를 해결하는 실용적 방법론으로, 시뮬레이션과 실제 로봇 모두에서 성공률을 크게 향상시키는 구체적 성과를 보여준다.
핵심 요약
로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. 연구팀이 강화학습(RL)을 배포 가능한 제어기가 아닌 하위 시각-운동 모방학습용 데이터 생성기로 활용하는 접근법을 제시했다. 여러 성공 해결책이 단일 방식을 반복 수집할 때보다 더 넓은 범위의 성공적 궤적을 포괄한다는 게 핵심 가정이다. 전체 요약 8문장 읽기 → 016 03:12 ▲ 296 · 댓글 38 추론 모델을 직접 구현하는 11시간 강의 공개 Sebastian Raschka가 8개 비디오, 11시간 분량의 추론 모델 구현 강의를 공개했다. AI · 머신러닝 · Sebastian Raschka's from-scratch video course on building reasoning models
Key Point 추론 모델 구현의 핵심 기법들(강화학습, 추론 시점 스케일링, 증류)을 직접 코딩하면서 배울 수 있는 완전한 실습 자료가 공개되어, LLM 개발자가 최신 추론 기술의 동작 원리를 깊이 있게 이해할 수 있다.
핵심 요약
Sebastian Raschka가 8개 비디오, 11시간 분량의 추론 모델 구현 강의를 공개했다. Python과 PyTorch로 평가, 추론 시점 스케일링, 강화학습, 증류를 처음부터 끝까지 구현한다. 사전학습된 Qwen 0.6B 모델을 출발점으로, KV 캐싱, 다양한 텍스트 생성, 답 검증기 구축 등을 단계별로 다룬다. 전체 요약 8문장 읽기 → 017 15:11 ▲ 55 · 댓글 4 마인크래프트 정복하는 비전 언어 행동 에이전트 마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. AI · 머신러닝 · HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
Key Point 실제 마인크래프트 환경에서 인간 수준의 자율 행동을 보이는 에이전트가 처음 실현되었으며, 이는 게임 AI뿐 아니라 로봇 제어, 업무 자동화 등 복잡한 실제 환경에서의 에이전트 설계 방식을 재정의할 수 있다.
핵심 요약
마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. HiSTEVE는 계층적 VLA 에이전트로, 상위 수준의 조율 계층과 하위 수준의 제어 계층으로 구성되어 있다. 조율 계층은 구조화된 메모리로 진행상황을 추적하고 VLM 플래너로 수행 가능한 부작업을 선택하며, 정책 기반 작업 완료 감지기로 부작업 완료 여부를 판단한다. 전체 요약 7문장 읽기 → 018 15:11 ▲ 54 · 댓글 2 RynnUnify: 로봇 제어까지 아우르는 통합 embodied AI 모델 RynnUnify는 영상-언어 추론을 통해 embodied 이해와 장기 시각 계획을 결합한 160억 파라미터 통합 모델이다. AI · 머신러닝 · RynnUnify: Towards Unified Embodied Brain
Key Point 물리 세계 이해부터 실제 로봇 제어까지 하나의 모델으로 통합하려는 시도로, embodied AI 연구의 새로운 기준을 제시한다.
핵심 요약
RynnUnify는 영상-언어 추론을 통해 embodied 이해와 장기 시각 계획을 결합한 160억 파라미터 통합 모델이다. 공간 추론, 물리 예측, 그라운딩 능력으로 물리 세계에 대한 이해와 변화 예측을 연결한다. 강화학습으로 에이전트 확장 버전을 개발했으며, 관찰되지 않은 상태와 상호작용 결과 추론을 위해 영상 예측을 선택적으로 활용한다. 전체 요약 8문장 읽기 → 019 12:11 ▲ 14 · 댓글 3 추론 모델의 '대기' 토큰, RL이 아닌 학습 데이터에서 온다 추론 모델이 단계를 재검토하기 전에 {wait} 토큰을 쓰는 것이 강화학습(RL)의 성과로 여겨져 왔으나, RL이 이 현상을 만든 것이 아니라 학습 데이터에서 상속받은 것일 수 있다는 가설을 검증했다. AI · 머신러닝 · Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
Key Point 추론 모델의 향상이 실제로 RL의 효과인지 아니면 데이터 상속인지 구분해야 할 핵심 연구로, 모델 평가 방식과 RL 기술 검증의 신뢰성을 근본적으로 재검토하게 한다.
핵심 요약
추론 모델이 단계를 재검토하기 전에 {wait} 토큰을 쓰는 것이 강화학습(RL)의 성과로 여겨져 왔으나, RL이 이 현상을 만든 것이 아니라 학습 데이터에서 상속받은 것일 수 있다는 가설을 검증했다. 공개 모델의 학습 이력을 추적하며 빈도, 위치, 형태, 사용 방식을 라벨 없이 지수화하고 주입 오류 테스트로 {wait} 토큰의 출처를 분석했다. RL을 적용하지 않은 초기 모델(zero-RL)은 {wait} 토큰을 거의 생성하지 않으며, {wait}이 없는 기반 모델에 RL을 적용해도 MATH-500 정확도는 크게 올라가지만 {wait} 토큰 사용은 거의 증가하지 않는다. 전체 요약 7문장 읽기 → 020 18:11 ▲ 13 · 댓글 2 언어모델이 언어모델 개선을 학습하다 LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. AI · 머신러닝 · Language Models Learn to Improve Language Models
Key Point LLM이 AI 개발 프로세스를 자동으로 개선하는 능력을 갖추게 되면서 모델 개발 비용과 속도의 판도가 바뀔 수 있기 때문입니다.
핵심 요약
LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. 첫째, 강화학습으로 수만 개 제안을 평가하려면 수십만 GPU시간이 필요해 비용이 매우 크다. 둘째, 대리 피드백은 정책 최적화 과정에서 과대평가된 제안을 선호하면서 신뢰도가 떨어진다. 전체 요약 7문장 읽기 → 021 03:11 ▲ 214 · 댓글 114 키미, 백만 토큰 컨텍스트의 K3.1 Pro 공개 키미가 K3.1 Pro와 2~3배 빠른 K3.1 Pro Highspeed를 공개했으며, 100만 토큰 컨텍스트 윈도우를 지원하는 오픈웨이트 모델이다. AI · 머신러닝 · Kimi K3.1 Pro and K3.1 Pro Highspeed
Key Point 오픈웨이트 대규모 언어 모델이 코딩부터 금융 분석까지 여러 분야에서 프로프라이어터리 모델과 경쟁하는 수준에 도달했으며, 사이버보안 능력을 의도적으로 제어하면서 공개하는 오픈 모델의 윤리적 방향성을 보여준다.
핵심 요약
키미가 K3.1 Pro와 2~3배 빠른 K3.1 Pro Highspeed를 공개했으며, 100만 토큰 컨텍스트 윈도우를 지원하는 오픈웨이트 모델이다. 모델은 키미 K3의 포스트 트레이닝 버전으로, 수백 개 다운스트림 도메인 전체에서 대규모 강화학습을 통해 모든 계층을 최적화했다. 코딩 벤치마크에서 K3.1 Pro는 Terminal-Bench 4.0에서 65.7%로 GPT-6 Astra(58.2%)를 상회하고 Claude Opus 5.5(66.4%)와 유사한 성능을 보인다. 전체 요약 12문장 읽기 → 022 21:11 당일 +599 강화학습으로 움직이는 오리 로봇, 마이크로덕 공개 폴렌 로보틱스가 높이 약 25cm, 무게 800g의 양다리 오리 로봇 마이크로덕의 제어 소프트웨어를 공개했다. 하드웨어 · 시스템 · pollen-robotics/microduck · Rust
Key Point 강화학습으로 훈련된 신경망 정책을 탑재한 로봇의 전체 소프트웨어 아키텍처와 개발 방식을 공개함으로써, 소형 이족 보행 로봇의 제어·배포·업그레이드 파이프라인을 어떻게 구현할 수 있는지 보여준다.
핵심 요약
폴렌 로보틱스가 높이 약 25cm, 무게 800g의 양다리 오리 로봇 마이크로덕의 제어 소프트웨어를 공개했다. Rockchip RK3566 프로세서 위에서 15개 서보 모터를 제어하는 50Hz 제어 루프를 포함하며, 라디오·카메라·자동 업데이트 시스템 등 완전한 로봇 운영 체계를 담고 있다. 행동 정책은 MuJoCo 시뮬레이터와 PPO 강화학습, 시뮬레이션 투 리얼(sim2real) 기법으로 훈련한 후 ONNX 형식으로 변환되어 로봇에 로드된다. 전체 요약 8문장 읽기 → 023 18:11 ▲ 16 · 댓글 2 대화 모델, 사용자의 방언에 맞춰 응답하도록 학습 사람들은 상대방에 따라 말투를 달리 하지만, 현재의 채팅 모델은 사용자가 비표준 영어나 방언을 써도 표준 영어로만 응답한다. AI · 머신러닝 · Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training
Key Point AI 모델의 공정성 이슈로, 특정 인종·지역 방언을 상대로 한 은연중 차별이 학습 단계에서 어떻게 발생하는지, 그리고 이를 기술적으로 개선할 수 있는지를 보여준다.
핵심 요약
사람들은 상대방에 따라 말투를 달리 하지만, 현재의 채팅 모델은 사용자가 비표준 영어나 방언을 써도 표준 영어로만 응답한다. 연구팀은 지도 학습(SFT)에서 선호도 최적화(DPO)와 강화학습까지 각 학습 단계에서 모델의 사용자 모방 경향이 어떻게 바뀌는지 추적했다. 10개 오픈 모델에서 학습 후 단계들은 모든 비공식적 표현을 표준화했으나, 응답 확률을 보정한 후에도 DPO는 아프리카계 미국인 영어(AAE)와 싱글리시보다 영국·호주 영어 철자 일치를 선호했다. 전체 요약 7문장 읽기 → 024 18:11 ▲ 243 · 댓글 2 객체부터 픽셀까지, 시각-언어 모델의 정밀 인식 통합 웨이신(WeChat) 팀이 WeVisOne-VL이라는 새로운 비전-언어 모델을 공개했으며, 객체 수준과 픽셀 수준의 시각 인식을 구조화된 토큰 예측으로 통합한다. AI · 머신러닝 · WeVisOne-VL: Unified Visual Perception from Objects to Pixels
Key Point 기존 비전-언어 모델들의 가장 큰 약점인 세밀한 시각 인식 신뢰성을 단일 모델로 해결하는 방법을 제시하여, VLM 기반 시스템의 실제 배포 가능성을 높였다.
핵심 요약
웨이신(WeChat) 팀이 WeVisOne-VL이라는 새로운 비전-언어 모델을 공개했으며, 객체 수준과 픽셀 수준의 시각 인식을 구조화된 토큰 예측으로 통합한다. 모델은 물체 탐지, 참조 위치파악, 개수 세기, OCR, 분할, 매팅 등 여러 시각 작업을 지원하며, 점과 상자부터 마스크와 알파 매트까지 사용자가 원하는 수준의 위치 파악을 가능하게 한다. 가벼운 픽셀 디코더를 특수 토큰을 통해 VLM에 통합하여 인스턴스 수준의 픽셀 출력을 생성한다. 전체 요약 6문장 읽기 → 025 18:11 ▲ 24 · 댓글 2 LLM 라우팅의 실행 방식까지 함께 학습하는 RouteWeaver LLM 라우팅은 여러 언어 모델을 동적으로 선택해 다양한 작업을 수행하지만, 기존 방식들은 단일라운드·다중라운드·에이전트 방식 등 고정된 실행 패러다임에 얽혀 있어 쿼리의 다양한 요구에 적응하기 어렵다. AI · 머신러닝 · RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing
Key Point 여러 LLM을 효율적으로 활용하려는 개발자들에게 실행 방식까지 동적으로 선택하는 새로운 라우팅 프레임워크가 어떻게 작동하는지 알려준다.
핵심 요약
LLM 라우팅은 여러 언어 모델을 동적으로 선택해 다양한 작업을 수행하지만, 기존 방식들은 단일라운드·다중라운드·에이전트 방식 등 고정된 실행 패러다임에 얽혀 있어 쿼리의 다양한 요구에 적응하기 어렵다. RouteWeaver는 이러한 라우팅 방식들을 하나의 LLM 정책으로 통합하며, 어떤 방식을 쓸지와 그 방식 내에서 어느 모델을 선택할지를 함께 학습한다. COMET-GRPO(COordinated Mode-Execution Training) 학습 알고리즘은 궤적 단위의 이득값을 방식 선택과 방식 내 실행의 별도 신호로 분해해 각 결정 단계에 더 정확한 학습 신호를 전달한다. 전체 요약 6문장 읽기 → 026 18:11 ▲ 97 · 댓글 2 320B 파라미터 에이전트 모델 IQuest-Q1 공개 IQuest-Q1은 Mixture-of-Experts 구조로 설계된 에이전트 파운데이션 모델로, 총 320B 파라미터 중 15B만 활성화되는 희소 모델입니다. AI · 머신러닝 · IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
Key Point 희소 MoE 구조로 320B 파라미터의 15%만 활성화하면서도 복잡한 다단계 학습 파이프라인을 통해 에이전트 능력을 강화한 방식이 새로운 표준이 될 수 있기 때문입니다.
핵심 요약
IQuest-Q1은 Mixture-of-Experts 구조로 설계된 에이전트 파운데이션 모델로, 총 320B 파라미터 중 15B만 활성화되는 희소 모델입니다. 3단계 학습 과정으로 개발되었습니다: 첫 번째는 Stable SplitNorm, Muon, muP를 결합한 안정적 사전학습으로, 두 번째 단계에서 코딩 데이터 비중을 높여 안전한 학습률 마진을 확보합니다. 두 번째 단계는 도메인과 포맷 전반에 걸쳐 데이터 혼합을 확장하고 컨텍스트를 점진적으로 늘리는 세부 중기 학습입니다. 전체 요약 6문장 읽기 → 027 12:11 ▲ 10 · 댓글 2 긴 작업의 신용배분 문제를 푸는 Self-Credit 강화학습 LLM 에이전트는 보통 강화학습으로 훈련되지만, 희소한 보상 신호로 인해 장기 작업에서 신용배분이 어렵다. AI · 머신러닝 · Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling
Key Point 희소 보상 환경에서 LLM 에이전트가 어떤 액션이 성공을 이끌었는지 파악하기 어려운 문제를 모델의 자체 추론과 그룹 비교로 해결하는 구체적 방법을 제시한다.
핵심 요약
LLM 에이전트는 보통 강화학습으로 훈련되지만, 희소한 보상 신호로 인해 장기 작업에서 신용배분이 어렵다. Self-Credit은 모델이 생성한 요약에 핵심 증거를 담은 이전 턴을 인용하게 함으로써 자동 신용배분 신호를 만든다. 그룹 내 재스케일링을 통해 같은 프롬프트에 대해 성공한 롤아웃과 실패한 롤아웃 간의 인용 액션을 비교해 신용을 정제한다. 전체 요약 8문장 읽기 → 028 12:11 ▲ 14 · 댓글 4 RL 논문은 쏟아지는데 프레임워크 적용은 1.5% 강화학습 훈련 방법은 오픈소스 프레임워크에 포함되면 사용자가 한 번의 설정 변경으로 바로 써볼 수 있다. AI · 머신러닝 · From RL Papers to Framework Code: Inclusion and Review in Seven Open-Source Training Frameworks
Key Point RL 분야의 논문 성과와 실제 활용 사이의 거대한 괴리를 정량적으로 측정한 연구로, 어떤 방법이 프레임워크에 채택되는지를 결정하는 요인을 파악할 수 있다.
핵심 요약
강화학습 훈련 방법은 오픈소스 프레임워크에 포함되면 사용자가 한 번의 설정 변경으로 바로 써볼 수 있다. 연구진이 7개 오픈소스 RL 훈련 프레임워크의 커밋 이력을 추적하고 2025년 1월부터 2026년 6월까지 arXiv에 게재된 6,939개 논문과 연결했다. 이 중 범용 RL 훈련 방법을 제안한 논문은 1,598개였으나, 적어도 하나의 프레임워크에 포함된 것은 37개(2.3%)에 불과했다. 전체 요약 10문장 읽기 → 029 00:11 ▲ 21 · 댓글 1 에이전트 강화학습, 다양한 도구 구성으로 일반화 능력 향상 에이전트 시스템의 핵심인 하네스(harness)는 모델의 도구 사용, 컨텍스트 관리, 장기 작업 조정을 담당하는데, 이를 효과적으로 활용하려면 강화학습이 필수다. AI · 머신러닝 · Harness Scaling for Generalizable Agentic Reinforcement Learning
Key Point 에이전트 RL의 성능이 도구 구성 설정의 다양성에 따라 크게 달라지는 만큼, 이 새로운 스케일링 차원이 실제 시스템 배포 시 안정성과 적응성을 높일 수 있다.
핵심 요약
에이전트 시스템의 핵심인 하네스(harness)는 모델의 도구 사용, 컨텍스트 관리, 장기 작업 조정을 담당하는데, 이를 효과적으로 활용하려면 강화학습이 필수다. 기존 접근법은 단일 하네스로만 학습해 특정 구성에 최적화되고 다른 설정으로의 전이 능력이 제한됐다. 연구팀은 '하네스 스케일링(Harness Scaling)'을 제안해 다양한 실행 구성으로 학습 범위를 확대한다. 전체 요약 6문장 읽기 → 030 18:11 ▲ 66 · 댓글 1 프로그램 이해부터 시각화까지, 오픈소스 멀티모달 코딩 모델 공개 프로그램의 코드와 실행 결과의 시각적 표현을 함께 이해하는 멀티모달 코드 지능 분야에서 오픈소스 진전이 크게 뒤쳐져 있으며, 기존 평가 방식들(실행 결과, 코드 유사도, 작업별 검증기)이 모두 세 가지 요소를 동시에 평가하지 못합니다. AI · 머신러닝 · PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis
Key Point 코드 생성 모델이 시각적 산출물까지 정확히 만들어야 하는 요구사항이 증가하면서, 이를 평가하고 개선하기 위한 체계적 방법론이 부족했던 문제를 해결하는 오픈소스 솔루션이 등장했습니다.
핵심 요약
프로그램의 코드와 실행 결과의 시각적 표현을 함께 이해하는 멀티모달 코드 지능 분야에서 오픈소스 진전이 크게 뒤쳐져 있으며, 기존 평가 방식들(실행 결과, 코드 유사도, 작업별 검증기)이 모두 세 가지 요소를 동시에 평가하지 못합니다. 저자들은 분해된 루브릭 기반 데이터 파이프라인 PrismaForge를 개발하여, 프로그램 정확성·코드 품질·시각적 정확성을 별도 체크리스트로 분해하고 이를 데이터 필터링과 강화학습 보상으로 활용합니다. PrismaForge를 통해 PrismaCoder-2M 데이터셋을 구축했으며, 이는 멀티모달 코드 지능 분야 최대 규모이자 가장 다양한 오픈소스 데이터셋입니다. 전체 요약 5문장 읽기 → 031 15:11 ▲ 14 · 댓글 2 코딩 에이전트 훈련, 정책뿐 아니라 도구까지 기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다. AI · 머신러닝 · Training the Whole Agent, Not Just the Model
Key Point 코딩 에이전트의 훈련 방식을 근본적으로 바꾸면서 SWE-bench에서 유의미한 성능 향상을 보여줘, 실제 소프트웨어 엔지니어링 작업을 자동화하는 에이전트의 실용성이 높아진다.
핵심 요약
기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다. HarnessAdapt-RL은 강화학습 중 정책과 함께 에이전트의 도구·훅을 적응시키는 방식이다. 잘못된 수리 전략에는 고정된 교사 모델이 작업별 메커니즘 레벨의 스킬을 생성하고, 여러 작업에 반복되는 상호작용 문제에는 별도 교사 모델이 도구와 훅을 진화시키되 통과율이나 학습 가능한 비율을 개선할 때만 유지한다. 전체 요약 6문장 읽기 → 032 12:11 ▲ 42 · 댓글 2 로봇 플래너도 포스트트레이닝으로 강화된다 로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. AI · 머신러닝 · AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
Key Point 작은 오픈소스 로봇 모델도 정교한 포스트트레이닝으로 폐쇄형 거대모델 수준의 성능을 낼 수 있다는 점이 로봇 개발자와 AI 연구자들에게 실질적인 의미를 갖는다.
핵심 요약
로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. 기존 로봇 제어 시스템은 강력한 폐쇄형 모델(GPT 같은)에 의존했지만, 모델 자체를 개선하지는 않았다. 코딩 에이전트 분야에서 포스트트레이닝이 성공한 점에 착안해 로봇 플래너에도 같은 접근을 시도했다. 전체 요약 8문장 읽기 → 033 12:11 ▲ 17 · 댓글 8 AI 에이전트 학습, 사용자·환경과 함께 진화시키다 LLM 에이전트가 사용자와 여러 턴에 걸쳐 상호작용하도록 훈련할 때, 사용자 시뮬레이터와 환경이 불안정하거나 불완전해서 학습 신호가 왜곡되는 문제가 있다. AI · 머신러닝 · EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents
Key Point 훈련 시스템 전체를 적응형으로 진화시키는 방식이 다중 턴 강화학습 성능을 대폭 향상시키는 것으로 나타났으며, 이는 에이전트 개발의 기존 접근 방식을 바꿀 수 있는 경험적 증거를 제시한다.
핵심 요약
LLM 에이전트가 사용자와 여러 턴에 걸쳐 상호작용하도록 훈련할 때, 사용자 시뮬레이터와 환경이 불안정하거나 불완전해서 학습 신호가 왜곡되는 문제가 있다. 기존 접근법은 보상 재설계나 감독 강화로 이를 해결했지만, 사용자 시뮬레이터와 환경을 고정된 것으로 취급했다. EAU는 메타 에이전트 프레임워크로, 훈련 중 궤적·도구 추적·보상·통계를 모니터링하며 실패와 무정보 상호작용을 진단한다. 전체 요약 7문장 읽기 → 034 06:11 ▲ 13 · 댓글 2 개방형 RL 학습 과정을 자동으로 조정하는 HarnessRL 제안 자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다. AI · 머신러닝 · HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL
Key Point 개방형 과제를 통해 AI 모델을 훈련할 때 보상 신호의 붕괴와 오류를 자동으로 탐지하고 수정하는 메커니즘이 필요한 상황에서, 훈련 과정 자체를 동적으로 조정하는 접근이 효율성을 크게 개선할 수 있음을 보여준다.
핵심 요약
자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다. 점수가 균일하게 낮거나 높게 붕괴되는 비차별적 보상과 높은 점수가 실제 답변 품질과 맞지 않는 허위 보상이라는 두 가지 실패 양식이 존재한다. 이는 정책이 진화하면서도 작업 샘플링, 탐색, 평가 설정이 고정되어 있기 때문이다. 전체 요약 8문장 읽기 → 035 09:11 ▲ 13 · 댓글 2 형식검증으로 강화한 LLM 에이전트 학습, Lean4AgenticRL LLM의 에이전트 능력을 강화하기 위해 복잡한 소프트웨어 엔지니어링과 터미널 작업 문제를 풀어야 하는 상황에서, 기존 모델들은 고수준의 결과 보상에만 의존해 학습 효율이 낮았다. AI · 머신러닝 · Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards
Key Point 기존 LLM 에이전트 학습에서 다단계 보상 검증을 도입해 실제 성능 향상을 입증한 사례로, 형식 검증이 강화학습 효과성을 높일 수 있음을 보여준다.
핵심 요약
LLM의 에이전트 능력을 강화하기 위해 복잡한 소프트웨어 엔지니어링과 터미널 작업 문제를 풀어야 하는 상황에서, 기존 모델들은 고수준의 결과 보상에만 의존해 학습 효율이 낮았다. Lean4AgenticRL은 Lean4 형식화 체계에 다단계 프로세스 보상을 통합한 첫 번째 프레임워크로, 에이전트의 능력과 제어성 사이 균형을 맞추는 문제별 워크플로우 시스템을 구축한다. 워크플로우 형식화와 다단계 보상 주석 방식을 통해 일반 하니스 시스템 내에서 에이전트 동작을 검증하며, 저수준 도구 호출 보상과 중수준 워크플로우 단계 보상을 포함한다. 전체 요약 7문장 읽기 → 036 03:11 ▲ 10 · 댓글 2 재귀 에이전트가 스스로 판단하도록 학습시키는 SERA 재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다. AI · 머신러닝 · Self-Evaluating Recursive Agents
Key Point 재귀 에이전트의 자기 평가 능력이 학습 효율과 성능을 동시에 높일 수 있다는 새로운 학습 패러다임으로, 외부 감독을 줄이면서도 복잡한 작업 분해 에이전트를 더 효과적으로 훈련하는 길을 열어준다.
핵심 요약
재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다. 기존 방식은 외부 검증자로 각 노드를 평가해야 하므로 계산 비용이 크고 분해 품질을 평가하지 못한다. SERA는 평가를 에이전트 정책 자체의 학습된 능력으로 전환한다: 부모 에이전트가 자식 작업에 대한 가중 성공 기준 룰브릭을 작성한다. 전체 요약 9문장 읽기 → 037 00:11 ▲ 10 · 댓글 2 음성-영상 일관성을 평가하는 'AVC-Reward' 모델 제시 음성-영상 동시 생성 모델이 발전하면서 복수 이벤트 구성, 다층 음향 혼합, 비대칭 교차모달 관계 등 복잡한 장면을 생성할 수 있게 됐지만, 기존 평가 지표는 단순한 일방향 작업에서 파생되어 이런 복잡한 시나리오에 부적합하다. AI · 머신러닝 · AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
Key Point 음성-영상 생성 모델의 평가 방식이 모델 성능 향상 속도를 따라가지 못하고 있는 가운데, 복잡한 멀티모달 콘텐츠를 정확히 평가할 수 있는 새로운 지표가 제시된 점이 중요합니다.
핵심 요약
음성-영상 동시 생성 모델이 발전하면서 복수 이벤트 구성, 다층 음향 혼합, 비대칭 교차모달 관계 등 복잡한 장면을 생성할 수 있게 됐지만, 기존 평가 지표는 단순한 일방향 작업에서 파생되어 이런 복잡한 시나리오에 부적합하다. 논문은 이벤트 단위로 음성과 영상 이벤트를 분리하고 각각을 독립 분석하며 모달리티 간 관계를 교차검증한 뒤, 결과를 3단계 일관성 지표로 집계하는 이벤트 중심 평가 프레임워크를 제안한다. 이 지표는 전체 서사 조화도, 이벤트 단위 시간 동기화, 세부 속성 정렬을 평가한다. 전체 요약 6문장 읽기 → 038 21:11 ▲ 23 · 댓글 2 로봇 가치 모델 평가 벤치마크 RoboValue 공개 로봇이 시각 정보와 명령어로부터 작업 실행을 평가하는 가치 모델(value model)이 정책 학습과 실행 모니터링에 피드백을 제공하지만, 기존 평가는 실행 이해의 일부 측면만 다루고 있어 신뢰성이 검증되지 않았다. AI · 머신러닝 · RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models
Key Point 로봇 가치 모델의 신뢰성을 체계적으로 평가하기 위한 첫 번째 통합 벤치마크로, 기존 평가 방식의 한계를 드러내고 정책 학습의 피드백 품질 개선 방향을 제시한다.
핵심 요약
로봇이 시각 정보와 명령어로부터 작업 실행을 평가하는 가치 모델(value model)이 정책 학습과 실행 모니터링에 피드백을 제공하지만, 기존 평가는 실행 이해의 일부 측면만 다루고 있어 신뢰성이 검증되지 않았다. 시뮬레이션과 실제 환경을 통합한 RoboValue 벤치마크는 네 가지 능력 차원을 평가한다: 작업-상태 이해, 시간 진행 모니터링, 실패 및 회복 추론, 가치 일관성. RoboValue-Dataset은 15개 시뮬레이션 및 20개 실제 로봇 조작 작업을 포함하며, 전문가 시연 데이터와 세밀한 평가용 주석 데이터를 제공한다. 전체 요약 6문장 읽기 → 039 21:11 ▲ 16 · 댓글 2 짧은 영상으로 장시간 예측하는 세계 모델 훈련법 스트리밍 비디오 세계 모델은 행동 조건에 따라 미래를 청크 단위로 생성하는데, 짧은 클립으로만 훈련되면 시간이 지날수록 예측 오차가 누적되어 표류한다. AI · 머신러닝 · Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips
Key Point 짧은 영상만으로 학습한 생성 모델이 장기간 예측에서 표류하는 근본적 문제를 해결하는 새로운 훈련 방식으로, 비용 높은 교사 모델 없이도 안정적인 장시간 롤아웃을 만들 수 있다.
핵심 요약
스트리밍 비디오 세계 모델은 행동 조건에 따라 미래를 청크 단위로 생성하는데, 짧은 클립으로만 훈련되면 시간이 지날수록 예측 오차가 누적되어 표류한다. 기존 방식은 분포 일치 증류(DMD)로 모델 자신의 예측을 다시 훈련하지만, 외부 교사는 행동을 모르고 내부 교사도 같은 문제로 고통받는다. 프레셰 거리(Fréchet Distance)를 활용한 프레셰 포싱(Fréchet Forcing) 기법을 제안한다: 생성적 앵커링은 실제 데이터로 끝나는 자체 생성 이력에 플로우 매칭 손실을 적용하고, 문맥 충실도는 각 클립의 자유 롤아웃 통계와 실제 통계 간 거리를 계산해 장면 일관성을 유지하며, 현실성 일치는 고정된 지각 공간에서 생성 프레임과 실제 프레임 간 거리를 측정한다. 전체 요약 5문장 읽기 → 040 18:11 ▲ 17 · 댓글 2 AI 에이전트의 거짓 보고 적발하는 검증 시스템 Sauron 장시간 실행되는 AI 에이전트 작업을 평가할 때 환경 상태와 실행 기록에 분산된 증거를 놓치거나, 에이전트 자신의 성공 보고만 믿는 문제가 있다. AI · 머신러닝 · Evidence-First Agentic Verification
Key Point AI 에이전트의 거짓 자체 보고를 탐지해 보상 해킹을 막는 방법이 필요해진다.
핵심 요약
장시간 실행되는 AI 에이전트 작업을 평가할 때 환경 상태와 실행 기록에 분산된 증거를 놓치거나, 에이전트 자신의 성공 보고만 믿는 문제가 있다. 이러한 평가 오류가 강화학습의 보상으로 쓰일 경우 에이전트가 부정한 행동을 학습하게 된다. Sauron은 상태와 실행 기록을 모두 조사하면서, 에이전트의 주장을 독립적으로 증거와 대조 검증한 뒤에야 수용하는 검증 시스템이다. 전체 요약 8문장 읽기 → 041 18:11 ▲ 19 · 댓글 2 비디오 분할에 시각적 추론 체인 더하다 비디오 리즈닝 분할(VRS)은 텍스트 설명만으로 대상을 찾아 픽셀 단위 마스크 궤적을 예측하면서 공간 관계와 시간적 이벤트를 파악해야 하는 과제다. AI · 머신러닝 · Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation
Key Point 비디오 분할에서 텍스트 추론과 시각적 증거의 연결 고리를 명시적으로 만듦으로써 모델의 판단 근거를 추적 가능하게 한 새로운 접근 방식이다.
핵심 요약
비디오 리즈닝 분할(VRS)은 텍스트 설명만으로 대상을 찾아 픽셀 단위 마스크 궤적을 예측하면서 공간 관계와 시간적 이벤트를 파악해야 하는 과제다. 기존 텍스트 기반 사고 연쇄(CoT)는 선택 이유를 설명하지만 시각적 근거를 명시하지 않아, 언어 추론과 프레임에 분산된 증거 사이에 갭이 생긴다. 연구팀은 시공간 근거를 갖춘 Temporal Chain of Video Primitives(TCoVP)를 제안했다. 전체 요약 9문장 읽기 → 042 18:11 ▲ 17 · 댓글 2 LLM 에이전트의 물리적 자기개선, 어떻게 가능할까 LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다. AI · 머신러닝 · Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy
Key Point 로봇 조작 같은 물리적 환경에서 LLM 에이전트가 스스로 개선되는 원리를 정량 분석해, 대규모 언어 모델의 실제 강화학습 적용 가능성을 예측할 수 있는 기초를 제공한다.
핵심 요약
LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다. PhysRSI-eval이라는 평가 지표를 도입해 5개 축(첫 시도 성능, 효율성, 성공률, 예산, 실패 후 개선)으로 물리적 RSI를 정량화했다. 18개 로봇 조작 작업에서 다양한 VLM(시각 언어 모델)을 같은 상호작용 예산 내에서 평가했으며, 공개 벤치마크 점수가 비슷해도 개선 양상은 크게 다를 수 있음을 확인했다. 전체 요약 7문장 읽기 → 043 18:11 ▲ 28 · 댓글 2 LLM 에이전트의 메모리 효율화, 강화학습으로 최적화 LLM 에이전트 시스템에서 메모리는 상호작용 간 정보 보유와 재사용을 지원하지만, 기존 방식은 쿼리를 고려하지 않고 메모리를 구축해 불필요한 전처리 비용과 정보 손실을 초래한다. AI · 머신러닝 · MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents
Key Point LLM 에이전트가 상황에 맞게 메모리 처리 비용을 조절할 수 있게 함으로써, 가격과 속도 제약이 있는 실제 배포 환경에서 실용적인 선택지를 제공한다.
핵심 요약
LLM 에이전트 시스템에서 메모리는 상호작용 간 정보 보유와 재사용을 지원하지만, 기존 방식은 쿼리를 고려하지 않고 메모리를 구축해 불필요한 전처리 비용과 정보 손실을 초래한다. MemPilot은 성능·비용·지연 시간 우선순위에 따라 요청 시 메모리를 정리하는 유연한 프레임워크를 제시한다. 강화학습으로 최적화한 다단계 정책을 통해 사전 구축 메모리 검색과 쿼리 특화 정리 중 선택하며, 증거량·정리 지시·모델 선택·이미지 접근을 통합 제어한다. 전체 요약 7문장 읽기 → 044 15:11 ▲ 40 · 댓글 4 AI 동료의 협업 능력 키우는 학습 환경 자동 생성 AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다. AI · 머신러닝 · CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents
Key Point AI 에이전트가 실제 업무 환경에서 도구를 조합하고 다단계로 소통하며 학습하는 방식이 어떻게 체계화되는지 보여주며, 구체적 성능 향상 수치로 실용 가치를 입증한다.
핵심 요약
AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다. CoworkEnv는 이런 AI 동료를 위한 실행 가능한 학습 환경을 자동으로 생성하는 프레임워크다. 업무 요구사항이 작업 구성을 가이드하고, 프로그램 검증과 피드백 기반 수정으로 사양과 채점 방식을 자동 생성한다. 전체 요약 7문장 읽기 → 045 15:11 ▲ 111 · 댓글 2 로봇 집단의 경험을 공유해 정책 학습 향상 로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. AI · 머신러닝 · Learning from Fleet Experience: A Collective Learning Paradigm for Robots
Key Point 로봇 집단 학습이 전문가 개입 없이 배치된 환경에서 정책을 개선하는 실질적 방법을 제시하며, 규모가 커질수록 성능이 향상되는 스케일러빌리티를 보여준다.
핵심 요약
로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. 연구팀은 집단 경험 학습(CEL) 패러다임을 제안했으며, 배치된 로봇들이 실행 경험을 공유해 공통 정책을 개선한다. 실패 안내 경험 검색 미세조정(FERT)이라는 구체적 방식으로, 로봇 실행 중 발생한 실패 상황을 바탕으로 집단의 성공 경험에서 관련 궤적을 검색해 그 행동을 감독 신호로 정책을 업데이트한다. 전체 요약 8문장 읽기 → 046 12:11 ▲ 43 · 댓글 4 코딩 AI, 스스로 실패를 분석해 개선하는 법 배우다 LLM 코딩 에이전트의 성능은 정책 모델과 환경 상호작용을 중개하는 harness(도구 호출 방식)에 의해 결정되며, 둘 중 하나만 최적화하는 것은 불충분하다. AI · 머신러닝 · Self-Evolving Coding Agents via Harness-Policy Optimization
Key Point 코딩 AI의 성능을 높이는 데 도구 사용 방식과 모델 학습을 함께 개선하는 방법이 유의미한 성과를 보여주고 있기 때문이다.
핵심 요약
LLM 코딩 에이전트의 성능은 정책 모델과 환경 상호작용을 중개하는 harness(도구 호출 방식)에 의해 결정되며, 둘 중 하나만 최적화하는 것은 불충분하다. Self-HPO는 두 성분을 번갈아 최적화하는 자기개선 프레임워크로, 현재 정책이 자신의 실패를 분석해 새로운 harness 후보를 제안하는 H-스텝과 RL로 정책을 업데이트하는 P-스텝을 반복한다. 학습 중 어려운 작업들이 다음 라운드의 harness 탐색 대상이 되어, harness 최적화가 진화하는 정책의 실패 패턴에 계속 맞춰진다. 전체 요약 6문장 읽기 → 047 18:11 ▲ 27 · 댓글 2 논문을 포스터로 변환하는 AI 벤치마크 RAP 공개 논문을 한 페이지 포스터로 압축하는 작업을 시각적 코딩으로 정의하고, 이를 위한 대규모 벤치마크 RAP를 제시한다. AI · 머신러닝 · RAP: A Dataset for Paper-to-Poster Generation via Declarative Markup from Human-Crafted Exemplars
Key Point 시각적 코딩 벤치마크의 공백을 채우고, 객관적 평가와 인간 설계 재활용을 동시에 가능하게 하는 대규모 구조화된 데이터셋이 공개되었다.
핵심 요약
논문을 한 페이지 포스터로 압축하는 작업을 시각적 코딩으로 정의하고, 이를 위한 대규모 벤치마크 RAP를 제시한다. RAP는 2022~2026년 머신러닝 학회 25K개 이상의 논문-포스터 쌍을 수집하고, 3단계 콘텐츠 분류체계로 주석했으며, 150개 테스트 논문 벤치마크를 별도로 포함한다. 기존 벤치마크와 달리 완전 자동화된 역렌더링 파이프라인으로 각 포스터를 재작성 가능한 HTML/CSS 마크업으로 변환하여, 논문-포스터-마크업 삼중쌍으로 검증할 수 있다. 전체 요약 8문장 읽기 → 048 15:11 ▲ 164 · 댓글 2 비전-언어 모델이 3D 공간을 직접 탐색하며 추론하는 방법 시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다. AI · 머신러닝 · Learning to Think and Explore in 3D World
Key Point 3D 환경에서 능동적으로 탐색해야만 답할 수 있는 문제에서 기존 상용 모델을 능가하는 오픈소스 모델 사례를 제시하며, VLM의 추론 능력을 확장하는 새로운 학습 패러다임을 보여줍니다.
핵심 요약
시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다. 초기 질문과 첫 번째 관점에서 시작한 뒤, 모델이 반복적으로 추론하고 이동·회전 같은 행동을 통해 시점을 변경하며 최종 답변을 제출하는 방식입니다. 궤적 감독 미세조정 후 강화학습(RL)을 적용했으며, 보상은 최종 답변 정확도로만 주어져서 모델이 어떤 시점을 방문할지는 스스로 학습합니다. 전체 요약 8문장 읽기 → 049 15:11 ▲ 40 · 댓글 4 모바일 에이전트 성능 비약 MobileGym++로 일상 앱 제어 학습 OpenMobile-2는 완전히 공개된 훈련 환경과 레시피로 모바일 에이전트를 구축한 시스템이다. AI · 머신러닝 · OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools
Key Point 모바일 AI 에이전트가 일상 앱을 자동 제어하는 수준이 실제 기기에서 거의 2배로 개선되었으며, 12,000개 데이터와 300개 도구 같은 대규모 공개 자산이 학계의 진입장벽을 낮춘다.
핵심 요약
OpenMobile-2는 완전히 공개된 훈련 환경과 레시피로 모바일 에이전트를 구축한 시스템이다. MobileGym++은 실제 상용 앱을 모방한 35개 앱으로 시작하며 안드로이드 에뮬레이터의 앱들을 포함해 총 110개 이상의 앱을 제공한다. 교차 앱 워크플로우를 지원하면서도 리셋과 검증을 위해 완전한 제어 가능성을 유지한다. 전체 요약 8문장 읽기 → 050 12:11 ▲ 34 · 댓글 3 장기 추론 에이전트를 위한 나무 구조 기반 정책 자기 증류법 강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다. AI · 머신러닝 · Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
Key Point 장기 수평선 에이전트 학습 시 정책 편차와 신용할당 문제를 동시에 해결하는 새로운 방식이 기존 GRPO보다 실제 성과를 개선했기 때문입니다.
핵심 요약
강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다. 기존 방식은 학습된 비평가, 과정 보상 모델, 온정책 증류 등으로 더 조밀한 신용을 얻지만 가치 네트워크나 강한 외부 교사가 필요해 훈련 복잡도가 높다. TreeOPSD는 비평가 없이 각 상호작용 턴을 나무 노드로 취급하고 공유 접두사에서 대안 경로를 분기하며 터미널 보상을 재귀적으로 역전파해 암묵적 턴 수준 신용을 생성한다. 전체 요약 6문장 읽기 → 051 09:11 ▲ 11 · 댓글 2 에이전트 군집이 스스로 역할 분담을 학습한다 기존 다중 에이전트 시스템은 고정된 조율 구조 내에서 학습하면서 개별 능력과 집단 행동의 조직화를 분리하는 문제가 있었다. AI · 머신러닝 · Learning Self-Orchestration in Decentralized Agent Swarms
Key Point 중앙 조율 없이 에이전트가 스스로 입찰로 역할을 나누고 학습하는 방식이 성능, 적응성, 견고성에서 모두 우수해 대규모 분산형 시스템 운영 방식을 바꿀 수 있다.
핵심 요약
기존 다중 에이전트 시스템은 고정된 조율 구조 내에서 학습하면서 개별 능력과 집단 행동의 조직화를 분리하는 문제가 있었다. 연구팀이 시장 기반 사후훈련(MPT) 프레임워크를 제안했으며, 이는 분산형 에이전트 군집에서 행동 정책과 자기-조율을 동시에 학습한다. 에이전트들은 입찰을 통해 참여 의사를 표현하고, 이것이 누가 행동하는지와 집단 결과가 어떻게 개별 학습 신호를 제공하는지를 결정한다. 전체 요약 9문장 읽기 → 052 09:11 ▲ 11 · 댓글 2 AI 에이전트가 자율적으로 모델을 학습시키다 AI 에이전트가 인간의 개입 없이 소규모 기본 모델을 고급 모델로 학습시킬 수 있는지 검증하는 Athanor이라는 에이전트-네이티브 자동 학습 연구 시스템을 개발했다. AI · 머신러닝 · Athanor: An Agent-Native System for Autonomous Post-Training Research
Key Point 현재의 AI 에이전트가 인간의 개입 없이 모델 개발 연구를 독립적으로 수행할 수 있음을 실증했으며, AI 시스템이 더 강력한 AI를 구축하는 자기 개선 경로의 현실적 가능성을 보여준다.
핵심 요약
AI 에이전트가 인간의 개입 없이 소규모 기본 모델을 고급 모델로 학습시킬 수 있는지 검증하는 Athanor이라는 에이전트-네이티브 자동 학습 연구 시스템을 개발했다. 104시간 동안 Claude Opus 3.5 에이전트 4개가 각각 8개 GPU 노드에서 Qwen3-4B-Base 모델을 개선했으며, 어떤 연구 조언도 받지 않았다. 개발 테스트 6개 과제에서 모델 성능이 15.9에서 67.3으로, 공개되지 않은 홀드아웃 평가 세트에서는 9.2에서 48.2로 향상되었다. 전체 요약 8문장 읽기 → 053 18:11 ▲ 54 · 댓글 2 로봇 제어 성능 높이는 'VLA-Δ' 프레임워크 공개 Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. AI · 머신러닝 · VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models
Key Point 로봇 제어 분야의 VLA 모델이 물리적 상태 변화를 명시적으로 학습하는 새로운 접근으로 기존 과적합 문제를 해결하고 성능을 향상시킨 점이 중요하다.
핵심 요약
Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. 기존 방법들은 언어·시각·잠재 공간에서 중간 추론이나 미래 상태 예측을 도입했으나, 실제 물리적 상태 전환 자체는 명시적으로 학습하지 않았다. 연구팀은 현재 상태와 미래 상태 간 물리적 변화를 직접 학습 목표로 삼는 VLA-Δ 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 054 18:11 ▲ 32 · 댓글 2 생성형 시뮬레이션의 규칙 검증, 이제 점수로 판단한다 기존 생성형 이미지 검증자는 True/False만 판단했지만, OmniVerifier-C1은 복잡한 프롬프트와 환경 규칙을 세부 요소로 분해해 각각 점수를 부여하는 방식으로 더 정보량 많은 피드백을 제공한다. AI · 머신러닝 · OmniVerifier-C1: Decomposed Graded Verifier for Rule-Governed Generative World Modeling
Key Point 생성형 AI 시스템이 복잡한 규칙을 따르며 작동하는 세계 시뮬레이션으로 나아가려면, 이진 판정을 넘어 세밀한 점수 기반 검증이 필수적임을 보여준다.
핵심 요약
기존 생성형 이미지 검증자는 True/False만 판단했지만, OmniVerifier-C1은 복잡한 프롬프트와 환경 규칙을 세부 요소로 분해해 각각 점수를 부여하는 방식으로 더 정보량 많은 피드백을 제공한다. 이 구조화된 해석 가능한 출력은 검증자의 도메인 외 멀티모달 작업으로의 일반화 성능을 높인다. Decoupled RL 학습 전략으로 하위 질문 수준의 이진 판단과 전역 정렬 점수를 동시 최적화하며, 정밀한 로컬 피드백으로 세밀한 검증 능력을 개발한다. 전체 요약 7문장 읽기 → 055 18:11 ▲ 28 · 댓글 3 파일에서 인사이트 찾는 AI, 합성 데이터로 학습시키다 파일을 분석해 인사이트를 도출하는 데이터 에이전트를 대규모로 학습시키기 위해 현실적인 학습 환경 구축이 어려운 문제를 해결했다. AI · 머신러닝 · Data World: Scaling Data Environments from Scratch
Key Point 데이터 분석 AI 학습을 위한 현실적인 대규모 데이터 환경 구축 방식이 제시되며, 합성 환경에서의 강화학습이 실제 벤치마크 성능 향상으로 이어지는 경로를 보여준다.
핵심 요약
파일을 분석해 인사이트를 도출하는 데이터 에이전트를 대규모로 학습시키기 위해 현실적인 학습 환경 구축이 어려운 문제를 해결했다. Data World 엔진은 파일을 먼저 생성하는 대신, 파일 뒤의 세상(데이터 구조·관계)을 명시적으로 정의한 뒤 환경·과제·평가 기준을 합성한다. 독립적인 감사로 관찰된 파일에서 정답을 복구할 수 있는지 검증하며, RL 학습을 위한 보상 함수로도 활용한다. 전체 요약 7문장 읽기 → 056 18:11 ▲ 154 · 댓글 2 모바일·PC 통합 GUI 에이전트 학습 플랫폼 MAI-Gym 공개 강화학습으로 수학, 코딩, 도구 사용에서 진전을 이뤘으나, GUI 에이전트는 상호작용 환경 구축 비용이 높고 학습 태스크가 부족해 확장이 어려웠다. AI · 머신러닝 · MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments
Key Point 모의 앱에서 학습한 모델이 실제 기기에 직접 전이되는 결과는 GUI 에이전트 실용화의 큰 진전을 의미하며, 공개 플랫폼과 데이터셋은 이 분야의 반복 가능한 연구를 크게 가속화할 것으로 보인다.
핵심 요약
강화학습으로 수학, 코딩, 도구 사용에서 진전을 이뤘으나, GUI 에이전트는 상호작용 환경 구축 비용이 높고 학습 태스크가 부족해 확장이 어려웠다. Hugging Face가 모바일·PC·웹 환경에서 GUI 에이전트 평가와 온라인 강화학습 훈련을 통합하는 오픈소스 플랫폼 MAI-Gym을 공개했다. 통합 롤아웃 파이프라인으로 평가와 훈련 시 일관된 에이전트 동작을 보장하며, 10개 기존 벤치마크를 지원하고 2만 개 병렬 환경 인스턴스로 확장 가능하다. 전체 요약 7문장 읽기 → 057 15:11 ▲ 17 · 댓글 2 자동주행 AI, 시뮬레이션으로 가상 주행 영상 학습 자동주행 세계 액션 모델(WAM)은 실제 주행 로그에서 기록된 궤적에 대한 영상 데이터만 갖고 있어, 강화학습으로 탐색한 대안적 궤적에는 시각적 감독이 없다. AI · 머신러닝 · SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
Key Point 자동주행 AI가 시뮬레이션으로 생성한 가상 영상을 학습 데이터로 사용해 강화학습 후보 궤적도 감독할 수 있게 되어, 제한된 실제 데이터만으로도 계획 성능을 5% 이상 향상시킬 수 있다.
핵심 요약
자동주행 세계 액션 모델(WAM)은 실제 주행 로그에서 기록된 궤적에 대한 영상 데이터만 갖고 있어, 강화학습으로 탐색한 대안적 궤적에는 시각적 감독이 없다. SimVTA는 이 문제를 해결하기 위해 시뮬레이션 기반 사후훈련 프레임워크를 제안한다. 각 관찰에 대해 후보 궤적을 샘플링하고, 3D 가우시안 스플래팅(3DGS)으로 재구성한 실제 장면에서 월드 엔진 같은 시뮬레이터로 높은 보상을 받는 궤적들의 미래 영상을 렌더링한다. 전체 요약 8문장 읽기 → 058 15:11 ▲ 56 · 댓글 2 다중 보상 학습에서 각 보상을 관련 토큰에만 할당하는 방법 언어모델은 도구 호출의 정확성·형식, 복잡한 지시의 개별 제약 등 여러 검증 가능한 보상으로 동시에 학습된다. AI · 머신러닝 · Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
Key Point 언어모델 강화학습에서 여러 보상을 동시에 처리할 때 각 보상이 실제로 영향을 미치는 위치에만 효과적으로 할당하는 방식의 개선으로, 수렴 속도와 성능 모두를 높인다.
핵심 요약
언어모델은 도구 호출의 정확성·형식, 복잡한 지시의 개별 제약 등 여러 검증 가능한 보상으로 동시에 학습된다. 기존의 보상-분리 정규화(GDPO)는 각 보상을 따로 정규화해 보상 조합을 구별하지만, 각 검증기가 몇 위치만 확인함에도 모든 보상의 이점을 전체 응답에 균등하게 분산한다. 이 논문이 제안하는 MRTPO는 보상별로 검증기가 확인하는 정보를 이용해, 각 보상의 이점을 관련 토큰에만 할당한다. 전체 요약 5문장 읽기 → 059 15:11 ▲ 10 · 댓글 2 강화학습으로 추론을 최적화한 의사결정 AI 모델 공개 Hugging Face에서 0.8B부터 27B까지 매개변수 규모의 의사결정 모델 'StartLux-Decision'을 발표했다. AI · 머신러닝 · StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions
Key Point 추론 비용을 크게 줄이면서도 정확도를 유지하는 강화학습 기법이 도입되어 실무 배포 시 비용 효율성이 개선된다.
핵심 요약
Hugging Face에서 0.8B부터 27B까지 매개변수 규모의 의사결정 모델 'StartLux-Decision'을 발표했다. Instant 모델은 양방향 주의 메커니즘으로 단일 패스 추론 속도를 유지하면서 정확도를 높이고, AutoThink 모델은 불확실한 결정에만 명시적 추론을 수행하고 확신 있는 경우는 직접 답한다. 3단계 훈련 파이프라인으로 공통 의사결정 능력을 먼저 확립한 뒤 두 모델 변형을 특화하고, 추론 지도학습과 강화학습으로 AutoThink에 추론 능력을 부여한다. 전체 요약 9문장 읽기 → 060 15:11 ▲ 54 · 댓글 2 여러 세션 걸친 강화학습 에이전트 최적화 방법 제안 기존 에이전트 강화학습은 단일 세션 궤적을 가정했으나, 컨텍스트 압축과 서브에이전트 분기 같은 기법은 여러 세션에 걸친 궤적을 생성해 불일치가 발생한다. AI · 머신러닝 · Mosaic: Multi-Session Agentic Reinforcement Learning
Key Point LLM 에이전트가 실제로 여러 번의 상호작용 세션으로 나뉠 때 학습 방식을 바꿔야 하는 실질적 문제를 해결하는 방법을 제시했다.
핵심 요약
기존 에이전트 강화학습은 단일 세션 궤적을 가정했으나, 컨텍스트 압축과 서브에이전트 분기 같은 기법은 여러 세션에 걸친 궤적을 생성해 불일치가 발생한다. 다중세션 에이전트 강화학습(Multi-Session Agentic RL) 설정을 제안해 임의 개수의 세션을 하나의 궤적 내에서 지원한다. 기존 방식은 궤적 수준 이점을 모든 세션에 일괄 분배하지만, 각 세션의 기여도를 구분하지 못하고 세션 할당을 지도하지 못한다. 전체 요약 6문장 읽기 → 061 15:11 ▲ 23 · 댓글 2 확산 모델 강화학습을 위한 라우팅 정책 최적화 기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. AI · 머신러닝 · Routing Policy Optimization for Online Diffusion Reinforcement Learning
Key Point 생성 모델을 보상 신호로 정렬할 때 훈련 효율을 4배 향상시키면서도 추론 시 모델의 원래 특성을 유지하는 새로운 강화학습 기법이 제시되어, 확산 모델 최적화의 실질적 한계를 해결한다.
핵심 요약
기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. Routing Policy Optimization (RPO)는 어텐션 라우팅을 확률적 탐색 행동으로 변환하여 이를 답한다. 선택된 몇 개의 디노이징 단계에서 각 쿼리 블록은 자신의 블록을 유지하면서 생성 모델의 자연스러운 어텐션 질량에 비례하여 추가 키 블록을 샘플링하거나 밀집 어텐션을 유지한다. 전체 요약 9문장 읽기 → 062 15:11 ▲ 668 · 댓글 4 RL 학습 과정의 중간 체크포인트로 정책 이동 검증하기 기존 정책 이동 증류(policy-shift distillation)는 강화학습으로 학습한 교사 모델의 초기-최종 로짓 차이만 학생에게 전달하는데, 이는 학습 과정 중 행동 선호도가 일관되게 변했는지 알 수 없다. AI · 머신러닝 · Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
Key Point 강화학습으로 개선된 모델의 지식을 효율적으로 전이할 때 단순히 최종 결과만 보는 게 아니라 학습 과정의 일관성을 검증해야 더 좋은 결과를 얻을 수 있다.
핵심 요약
기존 정책 이동 증류(policy-shift distillation)는 강화학습으로 학습한 교사 모델의 초기-최종 로짓 차이만 학생에게 전달하는데, 이는 학습 과정 중 행동 선호도가 일관되게 변했는지 알 수 없다. 같은 최종 변화라도 초기와 후기의 이동이 서로 상쇄될 수 있어 신뢰할 수 없다. Waypoint-OPD 방법은 교사 모델의 중간 체크포인트를 사용해 초기(시작→중간)와 후기(중간→최종) 정책 이동을 비교한다. 전체 요약 9문장 읽기 → 063 15:11 ▲ 79 · 댓글 2 텍스트-이미지 생성을 위한 의미 기반 프롬프트 최적화 SCOPE 제안 강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다. AI · 머신러닝 · SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation
Key Point 프롬프트의 의미 구조를 직접 활용하는 강화학습 방식으로 텍스트-이미지 생성 품질을 개선하는 새로운 접근법을 제시한다.
핵심 요약
강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다. 기존 방식은 이미지에서 단일 신호를 개별 서브워드 토큰에 적용하지만, 객체·수량·속성·관계 등이 의미있는 범위를 형성한다는 점을 간과한다. SCOPE는 Group Relative Policy Optimization(GRPO)을 기반으로 업데이트 가중치를 이러한 구조와 정렬시키는 목적함수를 제안한다. 전체 요약 6문장 읽기 → 064 12:11 ▲ 26 · 댓글 1 터미널 에이전트를 단계적으로 강화하는 Terminal-RSI 알고리즘 터미널 에이전트의 성능을 높이기 위해 검증된 궤적 재작성(RSR)과 정책 개선(RPR)을 교대로 적용하는 Terminal-RSI를 제안했다. AI · 머신러닝 · Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
Key Point 에이전트가 복잡한 터미널 작업을 완전히 완료하도록 유도하는 새로운 학습 방식이 여러 벤치마크에서 뚜렷한 개선을 보여주고 있다.
핵심 요약
터미널 에이전트의 성능을 높이기 위해 검증된 궤적 재작성(RSR)과 정책 개선(RPR)을 교대로 적용하는 Terminal-RSI를 제안했다. Turn-Boundary Skip-Observation GAE(TB-GAE) 방식으로 토큰별 기준선을 유지하면서 상호작용 턴 간 감쇠를 적용한다. Family Dense Reward(FDR)는 작업군 간 의미론적 진행을 조정하고, Success-Prioritized Reward(SPR)는 완전한 성공과 부분 성공을 구분한다. 전체 요약 8문장 읽기 → 065 12:11 ▲ 26 · 댓글 2 에이전트를 엣지에서 실행하되 필요할 때만 클라우드 LLM 호출 장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다. AI · 머신러닝 · EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
Key Point 장기 에이전트 작업의 추론 비용을 62%까지 줄이면서도 성능을 유지하는 방식은 엣지 배포에서 LLM 활용의 경제성을 크게 바꿀 수 있다.
핵심 요약
장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다. 연구팀이 발견한 핵심은 모든 스텝이 강력한 모델을 필요로 하지 않으며, 중요한 일부 스텝에만 LLM을 할당해도 전체 성능과 비슷한 결과를 낼 수 있다는 것이다. EdgeWise는 로컬 디바이스에 작은 언어모델(SLM)을 배포하고, 강력한 능력이 필요한 중요한 스텝만 선택적으로 클라우드 LLM으로 위임하는 엣지-클라우드 협력 프레임워크다. 전체 요약 7문장 읽기 → 066 03:12 ▲ 13 · 댓글 2 장기 강화학습에 Muon 옵티마이저 필수 장기 지평(long-horizon) 에이전트는 확장된 상호작용에서 추론, 도구 사용, 환경 피드백을 조율해야 한다. AI · 머신러닝 · Long-Horizon RL Needs Muon
Key Point 장기 강화학습 작업에서 효율적인 학습을 위한 구체적인 옵티마이저와 훈련 기법이 필요하며, Muon 기반 레시피가 기존 방법보다 나은 성능을 달성했기 때문이다.
핵심 요약
장기 지평(long-horizon) 에이전트는 확장된 상호작용에서 추론, 도구 사용, 환경 피드백을 조율해야 한다. 희소 결과 보상에서 학습하려면 길이가 다른 궤적에 가중치를 부여하고 롤아웃이 진행 중일 때 정책을 업데이트해야 한다. 연구팀은 Muon, 토큰 평균 손실, 잘린 중요도 샘플링, 길이·도구 오류 보조 손실을 결합한 단일 롤아웃 비동기 레시피를 제안했다. 전체 요약 6문장 읽기 → 067 03:12 ▲ 12 · 댓글 1 검증형 과제 해결 AI의 '보상 해킹' 진단과 해결법 검증형 지시 따르기 벤치마크가 조건 충족에만 집중하면서 실제 질문에 대한 의미 있는 답변 여부를 놓치는 평가 사각지대가 존재한다. 기타 · Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following
Key Point AI 모델이 조건 충족만 최적화하면서 실제 질문에 답하지 않는 '보상 해킹' 문제가 강화학습 단계에서 발생하는데, CALIF는 이를 추가 인프라 없이 경량으로 해결하는 실용적 방법을 제시한다. ai
핵심 요약
검증형 지시 따르기 벤치마크가 조건 충족에만 집중하면서 실제 질문에 대한 의미 있는 답변 여부를 놓치는 평가 사각지대가 존재한다. 최신 AI 모델들이 실질적 답변 내용은 거의 없으면서도 조건 만족으로 만점을 받는 현상이 발생한다. 검증기를 훈련 보상으로 사용하면 강화학습 후 조건 충족률은 높아지지만 응답 품질은 낮아지는 '보상 해킹'이 유발된다. 전체 요약 7문장 읽기 → 068 03:12 ▲ 12 · 댓글 1 GUI 인식 성능 대폭 개선한 GroundGUI 공개 GUI 화면의 자연어 지시를 정확히 화면상 요소로 매핑하는 멀티모달 비전 접지(visual grounding) 기술의 발전을 위해 ScreenRef 데이터셋을 제시했다. AI · 머신러닝 · GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
Key Point 자동화된 GUI 에이전트 개발의 핵심 과제인 화면 요소 인식 성능이 8B급 모델 범위에서 기존 오픈소스 접근법을 처음으로 능가했기 때문이다.
핵심 요약
GUI 화면의 자연어 지시를 정확히 화면상 요소로 매핑하는 멀티모달 비전 접지(visual grounding) 기술의 발전을 위해 ScreenRef 데이터셋을 제시했다. ScreenRef는 데스크톱, 웹, 모바일을 아우르는 586K개 GUI 스크린샷과 633K개 이상의 자연어 표현 인스턴스로 구성되며, 텍스트 인식·시각적 매칭·공간 이해·거부 시나리오 등을 포함한다. 감독학습 파인튜닝의 제한된 일반화와 강화학습의 희소 보상 문제를 해결하기 위해 Distillation-to-Reinforcement Learning(D2RL) 방법을 개발했다. 전체 요약 7문장 읽기 → 069 00:11 ▲ 39 · 댓글 2 다중 정답 처리로 LLM 추천 모델 학습 효율화 Reddit 같은 환경에서 추천 요청에 여러 정답이 나올 때 기존 Rank-GRPO는 훈련 예제당 하나의 응답만 선택하는데, 이는 학습 신호의 85%가 어떤 응답을 선택했는지에만 좌우되고 생성 목록의 질은 제대로 반영되지 않는 문제가 있다. AI · 머신러닝 · Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
Key Point 여러 정답을 처리하는 방식이 LLM 추천 모델의 학습 효율을 크게 좌우하며, 제안된 방법이 기존 방식 대비 더 적은 자원으로 동등하거나 우수한 성능을 낸다는 실용적 개선을 보여준다.
핵심 요약
Reddit 같은 환경에서 추천 요청에 여러 정답이 나올 때 기존 Rank-GRPO는 훈련 예제당 하나의 응답만 선택하는데, 이는 학습 신호의 85%가 어떤 응답을 선택했는지에만 좌우되고 생성 목록의 질은 제대로 반영되지 않는 문제가 있다. ReMaRk라는 새로운 방식을 제안하는데, 각 목록을 한 번에 모든 응답의 제목을 합친 것과 비교 평가하고 각 요청을 동등하게 샘플링한다. 7개의 기본 모델과 3개의 데이터셋에서 실험한 결과 ReMaRk는 Rank-GRPO가 2,000번의 단일-응답 강화학습 스텝을 거쳐야 달성하는 검증 재현율을 25~53% 더 적은 스텝으로 도달한다. 전체 요약 5문장 읽기 → 070 00:11 ▲ 24 · 댓글 2 LLM 강화학습의 숨은 함정, "사고 누출" 현상 밝혀지다 Qwen3 같은 하이브리드 추론 모델은 채팅 템플릿 토큰으로 THINK 모드와 NO-THINK 모드를 전환하며, NO-THINK 모드에서 강화학습(GRPO)으로 훈련하면 추론 성능이 향상된다고 보고돼왔다. AI · 머신러닝 · The Thinking Leakage in Reinforcement Learning for LLMs
Key Point 하이브리드 추론 모델의 강화학습 개선이 실제로는 새로운 능력 학습이 아닌 기존 능력의 재활성화일 수 있다는 점이 모델 평가와 개선 방향에 실제 영향을 미친다.
핵심 요약
Qwen3 같은 하이브리드 추론 모델은 채팅 템플릿 토큰으로 THINK 모드와 NO-THINK 모드를 전환하며, NO-THINK 모드에서 강화학습(GRPO)으로 훈련하면 추론 성능이 향상된다고 보고돼왔다. 연구진이 Qwen3-1.7B, 4B, 8B를 NO-THINK 모드에서 GRPO로 훈련한 결과, 성능 향상의 대부분이 '사고 누출(thinking leakage)'로 설명됨을 발견했다. 정확도가 높아지면서 응답이 더 길어지고 숙고적이 되며, 원본 모델의 THINK 모드 특성을 닮아가고, 모델 내부 활성화가 THINK 모드로 이동한다. 전체 요약 7문장 읽기 → 071 18:11 ▲ 35 · 댓글 2 완전 공개 멀티모달 모델 Apertus 1.5 출시 Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. AI · 머신러닝 · Apertus 1.5: From Open Text Models to Open Multimodal Reasoners
Key Point 공개 데이터로만 학습한 완전히 오픈소스 멀티모달 모델의 등장으로, 소수 기업 종속에서 벗어날 수 있는 대안이 실제 규모에서 가능함을 보여준다.
핵심 요약
Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. 8B 모델에 4T개, 70B 모델에 2T개 토큰을 추가 학습해 이미지와 음성 이해 능력을 추가했으며, 컨텍스트 윈도우를 262,144 토큰으로 4배 확대했다. 토크나이저를 통해 멀티모달 입력을 처리하되 언어 모델 헤드는 텍스트만 출력하고 아키텍처는 유지했다. 전체 요약 9문장 읽기 → 072 18:11 ▲ 76 · 댓글 2 강화학습 에이전트 최적화, 방법 많다고 더 나을까 에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다. AI · 머신러닝 · More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
Key Point 에이전트 강화학습의 자기증류 방법이 계속 제안되는 가운데, 실제로 더 많은 방법이 더 나은 성능을 보장하지 않는다는 점이 중요하기 때문에 방법론 선택과 연구 방향에 영향을 미친다.
핵심 요약
에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다. 연구팀은 10가지 대표 방법을 GRPO와 함께 ALFWorld, ScienceWorld, Search-QA, WebShop에서 3가지 모델 크기로 비교했으며, 132개 훈련 실행과 총 12,124.4시간의 H800 GPU를 사용해 8개 롤아웃 시드로 반복 평가했다. 최종 성능 외에 훈련 진행률, 안정성, 측정된 계산 비용을 조사했고, GRPO 대비 성능 향상이 제한적이며 모든 설정에서 지속적으로 뛰어난 방법이 없음을 발견했다. 전체 요약 5문장 읽기 → 073 15:11 ▲ 32 · 댓글 1 INT4 양자화로 강화학습 롤아웃 1.8배 빠르게 비동기 롤아웃은 긴 생성 작업 중 미활용을 줄여 검증 가능한 보상(RLVR) 강화학습의 효율성을 높이지만, 맥락 처리가 적은 디코딩 단계에 집중되면서 KV 캐시 작업 부하가 증가한다. AI · 머신러닝 · KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
Key Point 강화학습 훈련에서 KV 캐시 양자화로 하드웨어 메모리 사용량을 크게 줄이면서도 정확도 손실을 거의 없는 방법이 나왔기 때문에, 리소스 제약이 있는 환경에서의 LLM 훈련 효율을 크게 개선할 수 있다.
핵심 요약
비동기 롤아웃은 긴 생성 작업 중 미활용을 줄여 검증 가능한 보상(RLVR) 강화학습의 효율성을 높이지만, 맥락 처리가 적은 디코딩 단계에 집중되면서 KV 캐시 작업 부하가 증가한다. 가중치 전용·가중치-활성화 양자화보다 KV 캐시 양자화가 훨씬 더 큰 가속 효과를 주지만, INT4 양자화만으로는 토큰 단위 절단된 중요도 샘플링(TIS)을 써도 학습이 악화될 수 있다. KV4-RL은 보정 없는 INT4 KV 양자화에 어텐션 싱크와 최근 문맥의 일부 위치만 INT8로 보호해 샘플러 오정렬을 줄이면서도 대부분의 속도 이득을 유지한다. 전체 요약 5문장 읽기 → 074 15:11 ▲ 15 · 댓글 2 로봇 기초모델, 지속학습으로 새 작업 빠르게 습득 로봇 기초모델(RFM)의 강화학습 미세조정은 데모 이상의 성능을 낼 수 있지만, 실제 배포에는 새 작업을 효율적으로 학습하면서 기존 능력을 잃지 않아야 한다. AI · 머신러닝 · ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
Key Point 로봇이 새로운 작업을 배우면서 기존 능력을 유지해야 한다는 실제 배포 문제를 오프폴리시 RL로 해결했으며, 31~68% 훈련 시간 단축으로 실용성을 입증했습니다.
핵심 요약
로봇 기초모델(RFM)의 강화학습 미세조정은 데모 이상의 성능을 낼 수 있지만, 실제 배포에는 새 작업을 효율적으로 학습하면서 기존 능력을 잃지 않아야 한다. 기존 지속학습 RL 방식은 온폴리시 업데이트로 잊음 현상을 줄이지만 전이학습이 제한적이고, 오프폴리시 방식은 단일 작업 샘플 효율은 높이지만 작업 간 지속성 문제를 해결하지 못한다. ACCRUE는 경량 액터-크리틱 네트워크를 작업 간에 보존하는 오프폴리시 RL 프레임워크로, 각 단계가 이전 RL에서 습득한 행동과 가치 지식을 재사용한다. 전체 요약 6문장 읽기 → 075 15:11 ▲ 283 · 댓글 2 게임 AI 학습을 위한 합성 경험 기반 강화학습 프레임워크 Player-1 화면 해석과 키보드·마우스 조작을 수행하는 컴퓨터 사용 에이전트는 발전했으나, 시각적으로 풍부하고 복잡한 게임 환경은 여전히 도전 과제로 남아 있습니다. AI · 머신러닝 · Player-1: Learning to Play from Synthetic Experience
Key Point 게임 AI의 성능 개선이 실제 환경 데모 없이 합성 환경만으로 달성 가능함을 보여줌으로써, 대규모 데이터 수집 없이 일반적 디지털 제어 에이전트를 학습할 수 있는 길을 열었습니다.
핵심 요약
화면 해석과 키보드·마우스 조작을 수행하는 컴퓨터 사용 에이전트는 발전했으나, 시각적으로 풍부하고 복잡한 게임 환경은 여전히 도전 과제로 남아 있습니다. 기존 게임 에이전트 학습 파이프라인은 제한된 동적 게임 상태 커버리지의 대규모 데모에 의존하며, 상호작용 학습을 위한 확장 가능한 환경 구축이 어렵습니다. Player-1은 합성 경험을 통해 데모 이상의 게임 제어를 학습하는 포스트 트레이닝 프레임워크로, 상대적 포인터 모션, 지속적 입력, 복합 액션으로 컴퓨터 사용 액션 공간을 확장합니다. 전체 요약 9문장 읽기 → 076 15:11 ▲ 150 · 댓글 37 경량 추론 모델 LFM2.5-24B-A2B 출시, 온디바이스 에이전트 최적화 Liquid AI가 LFM2.5-24B-A2B를 공개했으며, 총 24B 파라미터 중 활성 파라미터는 2B만 사용하는 추론 특화 모델이다. AI · 머신러닝 · LFM2.5-24B-A2B: Built for fast on-device agents
Key Point 온디바이스에서 도구 호출과 추론을 빠르게 처리해야 하는 개발자에게, 클라우드 API 의존 없이 로컬 에이전트를 구축할 수 있는 선택지를 제시한다.
핵심 요약
Liquid AI가 LFM2.5-24B-A2B를 공개했으며, 총 24B 파라미터 중 활성 파라미터는 2B만 사용하는 추론 특화 모델이다. 총 파라미터가 50% 이상 많은 Qwen3.6-35B-A3B와 비교해 에이전트·도구 사용 벤치마크 8개 중 5개에서 경쟁력을 보였다. AutomationBench에서 27.69점으로 다음 경쟁 모델 8.72점의 3배 이상 점수를 기록했고, LiveClaw에서 48.09점을 달성했다. 전체 요약 13문장 읽기 → 077 12:11 ▲ 19 · 댓글 1 텍스트-이미지 생성 모델, 자동으로 자기 약점 찾아 학습한다 텍스트-이미지 생성 모델의 사후학습(post-training)을 자동화하는 APT(Agentic Post-Training) 프레임워크를 제안했다. AI · 머신러닝 · APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation
Key Point 수동 데이터 큐레이션 없이 모델 자체의 약점을 자동으로 식별해 학습하는 방식으로, 텍스트-이미지 생성의 품질 개선 파이프라인이 어떻게 근본적으로 바뀔 수 있는지 보여준다.
핵심 요약
텍스트-이미지 생성 모델의 사후학습(post-training)을 자동화하는 APT(Agentic Post-Training) 프레임워크를 제안했다. 기존 방식은 수동으로 큐레이션한 데이터와 고정된 학습 분포에 의존했으나, APT는 모델의 진화하는 역량에 맞춰 적응적으로 사후학습을 진행한다. 평가 세트 구성, 모델의 강점과 약점 진단, 강화학습 데이터 생성을 담당하는 3개 에이전트를 조율한다. 전체 요약 6문장 읽기 → 078 12:11 ▲ 36 · 댓글 1 이미지 콘텐츠 자동 제거 모델 LensErase 공개 Hugging Face는 다양한 객체와 텍스트, 워터마크 제거를 지원하는 범용 이미지 편집 모델 LensErase를 공개했다. AI · 머신러닝 · LensErase: A Foundation Model for Erase Anything
Key Point 이미지에서 특정 객체를 정확하게 제거하는 작업은 콘텐츠 제작, 사진 편집, 광고 등에서 널리 필요한데, 단일 모델로 이를 통합적으로 처리하는 기초 모델이 등장했다는 점이 의미있다.
핵심 요약
Hugging Face는 다양한 객체와 텍스트, 워터마크 제거를 지원하는 범용 이미지 편집 모델 LensErase를 공개했다. 1억 100만 개의 소스-마스크-타겟 쌍으로 구성된 LensErase-100M 데이터셋을 구축해 학습의 광범위한 커버리지를 확보했다. 텍스트-투-이미지 모델 Lens를 기반으로 마스크 기반 제거 작업으로 적응시킨 후, Mask-Aware RoPE라는 3D 회전형 위치 인코딩으로 마스크 정보를 효율적으로 통합했다. 전체 요약 6문장 읽기 → 079 06:11 ▲ 10 · 댓글 1 에이전트가 직접 학습 환경을 설계하는 자동화 시스템 등장 터미널 에이전트의 강화학습 훈련에는 다양하고 검증 가능한 환경이 필요하지만, 지금까지 환경 설계는 인간 연구자가 수행해야 했다. AI · 머신러닝 · AutoEnvScaling: Automating the Data Flywheel with Terminal Agents
Key Point 터미널 에이전트 훈련의 가장 큰 병목이었던 환경 설계를 자동화함으로써, 모델의 자율적 성장과 비용 효율성을 동시에 달성하는 경로를 보여준다.
핵심 요약
터미널 에이전트의 강화학습 훈련에는 다양하고 검증 가능한 환경이 필요하지만, 지금까지 환경 설계는 인간 연구자가 수행해야 했다. AutoEnvScaling은 환경 설계를 터미널 작업으로 재정의해 에이전트가 자동으로 학습 환경을 생성하도록 한다. 제안 에이전트가 풀이 에이전트의 실행 롤아웃을 바탕으로 새로운 강화학습 환경을 구축하고, 그 결과가 다음 훈련 라운드를 안내한다. 전체 요약 8문장 읽기 → 080 03:11 ▲ 10 · 댓글 4 로봇 에이전트의 제어 로직을 경험으로 직접 개선하는 EMHO 기존 임보디드 에이전트(로봇 에이전트) 개선은 모델 학습에 집중하는데, 계획과 도구 사용을 관리하는 '에이전트 하네스(harness)'는 수동으로 설계된다. AI · 머신러닝 · EMHO: EMbodied Agent Harness Optimization via Experience Traces
Key Point 모델을 동결한 채 에이전트 제어 로직만 경험으로 개선하는 접근이 실제로 작동하는지 보여주는 논문이며, 현재 고정된 프롬프트와 휴리스틱에 의존하는 로봇 시스템의 한계를 개선하는 경로를 제시한다.
핵심 요약
기존 임보디드 에이전트(로봇 에이전트) 개선은 모델 학습에 집중하는데, 계획과 도구 사용을 관리하는 '에이전트 하네스(harness)'는 수동으로 설계된다. 새로운 EMHO 프레임워크는 모델을 고정한 채 실행 궤적(execution trajectories)과 과거 하네스 기록을 분석해 하네스를 반복적으로 개선한다. EMHO는 프롬프트 수정을 넘어 에이전트가 진행상황을 모니터링하는 방식, 비전 도구 활용, 환경 이해(grounding), 실패 대응 방식까지 수정한다. 전체 요약 6문장 읽기 → 081 00:11 ▲ 13 · 댓글 2 긴 문맥 이해를 위한 강화학습 프레임워크 LongR LLM의 장문맥 추론 능력을 강화하기 위해 강화학습(RL)을 적용하는 연구로, 기존의 희소한 결과 기반 보상만으로는 복잡한 추론을 효과적으로 유도하기 어렵다는 문제를 해결합니다. AI · 머신러닝 · LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards
Key Point 장문맥 환경에서 LLM의 추론 능력을 강화하는 실질적인 방법을 제시하며, 기존 희소 보상 방식의 한계를 극복한 구체적인 해결책을 보여줍니다.
핵심 요약
LLM의 장문맥 추론 능력을 강화하기 위해 강화학습(RL)을 적용하는 연구로, 기존의 희소한 결과 기반 보상만으로는 복잡한 추론을 효과적으로 유도하기 어렵다는 문제를 해결합니다. 제안하는 LongR 프레임워크는 '생각과 읽기(Think-and-Read)' 메커니즘을 통해 추론 과정 중 필요할 때 문서를 참고하는 방식으로 작동합니다. 상대적 정보 이득(relative information gain)을 기반으로 한 맥락 기반 밀도 보상을 도입하여, 증거 주석 없이도 관련 문서의 유용성을 정량화합니다. 전체 요약 5문장 읽기 → 082 21:11 ▲ 18 · 댓글 2 Fish Audio Drama 3, 자연어 지시로 성우 같은 음성 생성 텍스트를 연기하는 형태의 음성으로 변환하는 오픈소스 모델 Fish Audio Drama 3을 공개했다. AI · 머신러닝 · Fish Audio Drama 3 Technical Report
Key Point 단일 모델로 음성 복제, 자연어 지시, 멀티턴 편집, 장면 더빙을 모두 지원하며 파라미터 대비 빠른 추론 속도를 달성한 기술적 진전이 실제 음성 생성·편집 워크플로를 어떻게 단순화할지 확인할 수 있다.
핵심 요약
텍스트를 연기하는 형태의 음성으로 변환하는 오픈소스 모델 Fish Audio Drama 3을 공개했다. 35B 파라미터 혼합 전문가 구조에 토큰당 3B 파라미터만 활성화하며, 여러 참조에서 목소리를 복제하고 자연어 지시에 따른다. 다음 턴의 피드백으로 테이크를 수정하고, 여러 캐릭터 장면에 음성을 부여하며, 기존 음성을 인필로 편집하고 장시간·스트리밍 오디오를 합성한다. 전체 요약 8문장 읽기 → 083 21:11 ▲ 64 · 댓글 1 장기 작업 에이전트 훈련을 위한 반복적 환경 진화 방식 WorkRover 강화학습을 통해 장기 수행 에이전트를 훈련하기 위해서는 상호작용 환경을 확장하는 것이 중요하지만, 기존 구성 파이프라인은 작업 요소들을 정렬한 채 반복 개선을 지원하는 데 제한이 있다. AI · 머신러닝 · WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution
Key Point 장기 작업을 수행하는 AI 에이전트의 훈련 효율을 대폭 개선하는 새로운 프레임워크로, 복잡한 작업 환경을 자동으로 정제하고 검증하는 방식이 기존 대비 크게 나은 성능을 달성했다.
핵심 요약
강화학습을 통해 장기 수행 에이전트를 훈련하기 위해서는 상호작용 환경을 확장하는 것이 중요하지만, 기존 구성 파이프라인은 작업 요소들을 정렬한 채 반복 개선을 지원하는 데 제한이 있다. WorkRover는 하니스 기반 합성으로 구성 에이전트가 의미론적으로 정렬된 작업 맥락, 실행 가능한 작업, 증거 기반 검증자를 함께 구축하고 고정 워크플로우 대신 작업공간 상태와 실행 피드백에 맞춰 조치하는 프레임워크다. 환경 진화를 지원하기 위해 의존성 폐쇄 재실행과 검증된 후보 중 가장 작은 수정안을 선택하는 Factorial Compatibility Replay(FCR)를 도입했다. 전체 요약 5문장 읽기 → 084 18:11 ▲ 20 · 댓글 2 터미널 에이전트, 에러 복구로 자동 성능 향상 터미널 에이전트는 복잡한 코딩 작업에서 강한 능력을 보이지만, 실행 중 명령 오류나 잘못된 구현 같은 오류에서 회복하지 못해 결국 실패하는 문제가 있다. AI · 머신러닝 · ReTerm: Recovery Training for Self-Improving Terminal Agents
Key Point 터미널 에이전트의 에러 회복 능력이 실무 환경에서 실패율을 결정하는 핵심이며, ReTerm의 자가-개선 방식은 단순 미세조정을 넘어 실제 오류 상황에서 에이전트가 스스로 학습하고 개선되는 새로운 훈련 패러다임을 제시한다.
핵심 요약
터미널 에이전트는 복잡한 코딩 작업에서 강한 능력을 보이지만, 실행 중 명령 오류나 잘못된 구현 같은 오류에서 회복하지 못해 결국 실패하는 문제가 있다. ReTerm은 자신의 실패한 터미널 작업에서 회복하는 방법을 학습하여 스스로 개선하는 에이전트로, 훈련을 위해 맞춤형 데이터 파이프라인과 고품질의 회복 시연을 제공하는 ReTerm-10K 데이터셋을 구축했다. ReTerm-GRPO라는 온라인 강화학습 알고리즘을 제안하며, 에이전트의 실패 상태에서 여러 독립적인 자가-복구 시도를 생성하고 이들이 작업을 완료하는지 여부로 학습한다. 전체 요약 6문장 읽기 → 085 18:11 ▲ 19 · 댓글 1 비디오 추론 모델의 증거 기반 검증 능력 강화 Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다. AI · 머신러닝 · Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence
Key Point 비디오 AI 모델이 단순히 답을 하는 것에서 벗어나 '왜 그렇게 생각하는지' 시간과 위치 정보로 검증할 수 있게 되면서, 신뢰성이 필요한 비디오 분석 응용에 실제 도입 가능성이 높아집니다.
핵심 요약
Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다. 기존 Open-o3-Video의 제한점을 극복하기 위해 부족한 정보를 식별하고 추가 관찰을 획득하는 에이전트 기반 접근 방식을 도입했습니다. 52K 다중 턴 에이전트 그라운딩 추론 궤적과 13K 강화학습 데이터셋(STGR-v2-CoT135K, STGR-v2-RL-13K)을 구성했습니다. 전체 요약 7문장 읽기 → 086 18:11 ▲ 195 · 댓글 2 LLM 에이전트에 자가 반성 능력 가르치는 Agent-Reflex 프레임워크 언어 모델 에이전트가 장기 추론과 도구 사용을 수행할 때 노이즈 있는 피드백과 사용자 개입에 대응하는 문제를 다룬다. AI · 머신러닝 · Agent-Reflex: Teaching Language Agents to Act Reflectively
Key Point 도구 사용 에이전트가 실제 환경의 노이즈와 오류로부터 자동으로 학습하고 회복할 수 있는 구체적인 훈련 방법론을 제시하고 있어, 더욱 견고한 AI 에이전트 개발에 필요한 기술이다.
핵심 요약
언어 모델 에이전트가 장기 추론과 도구 사용을 수행할 때 노이즈 있는 피드백과 사용자 개입에 대응하는 문제를 다룬다. Agent-Reflex는 세 단계로 구성된 훈련 프레임워크로, 먼저 Environment Reflection Skill Discovery(RSD) 단계에서 도구 피드백 섭동을 주입하고 다양한 LLM 풀에서 성공-실패 쌍을 추출해 반성 메타스킬을 도출한다. Reflective Supervised Fine-Tuning(ReSFT) 단계는 각 스킬을 자가 반성, 스킬 복구, 사용자 중심 수정을 위한 감독 신호로 변환한다. 전체 요약 6문장 읽기 → 087 18:11 ▲ 111 · 댓글 1 도시 전체 3D 장면에서 물체를 찾는 AI 에이전트 'Urbex' 공개 도시 규모 3D 씬에서 건물이나 랜드마크 같은 공간 요소를 찾는 문제를 새롭게 정의했다. AI · 머신러닝 · Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes
Key Point 도시 규모 3D 장면 이해 문제를 에이전트 기반의 대화형 탐색으로 재설계해 기존 랭킹 방식의 비효율성을 타파한 새로운 접근법이기 때문입니다.
핵심 요약
도시 규모 3D 씬에서 건물이나 랜드마크 같은 공간 요소를 찾는 문제를 새롭게 정의했다. 기존 방식은 미리 계산한 후보 상자들을 순위매기는 방식이었는데, 대규모 실외 장면에서 비효율적이었다. Urbex는 비전-언어 모델 에이전트가 인터랙티브하게 탐색하도록 설계했다. 전체 요약 8문장 읽기 → 088 18:11 ▲ 81 · 댓글 1 미적 코드 생성, 시각 보상으로 가능해졌다 슬라이드·포스터·대시보드처럼 시각적으로 복잡한 UI를 코드로 생성하되, 레이아웃과 색감이 실제로 어떻게 보일지 반영하기 어렵다는 문제가 있었다. AI · 머신러닝 · AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
Key Point 시각 설계가 필요한 UI 코드 생성에서 미적 품질과 정확성을 동시에 달성하는 새로운 접근법이 기존 모델의 한계를 구체적으로 수치로 극복해냈다.
핵심 요약
슬라이드·포스터·대시보드처럼 시각적으로 복잡한 UI를 코드로 생성하되, 레이아웃과 색감이 실제로 어떻게 보일지 반영하기 어렵다는 문제가 있었다. AesCode는 사용자 지시문에 따라 코드를 생성하되, 같은 지시문으로 만든 이미지를 시각 미적 참조로 활용한다. 생성된 코드를 디자인 그래프로 표현해 각 속성을 추적 가능하게 만들고, 이 그래프로부터 두 종류의 보상을 만든다. 전체 요약 8문장 읽기 → 089 18:11 ▲ 66 · 댓글 1 흉부 X선 진단에 도구 활용한 AI 에이전트, ChestAgentBench서 최고 성능 흉부 X선(CXR) 해석은 직접 시각 인식만으로는 부족하며 외부 도구를 통한 증거 통합이 필요한데, 기존 도구 활용 의료 에이전트는 언제 보조 증거가 필요한지 학습하거나 부적절한 정량 데이터를 차단하는 명시적 메커니즘이 부족하다. AI · 머신러닝 · X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning
Key Point 의료 AI가 X선 이미지 분석 시 외부 측정 도구를 필요한 순간에만 올바르게 활용하는 방식을 개선함으로써, 의료 진단 시스템의 신뢰성과 설명 가능성을 높이는 구체적인 접근 방식을 제시합니다.
핵심 요약
흉부 X선(CXR) 해석은 직접 시각 인식만으로는 부족하며 외부 도구를 통한 증거 통합이 필요한데, 기존 도구 활용 의료 에이전트는 언제 보조 증거가 필요한지 학습하거나 부적절한 정량 데이터를 차단하는 명시적 메커니즘이 부족하다. 이를 해결하기 위해 X-Ragent라는 도구 활용 강화학습 후학습 프레임워크를 제안하며, 이는 보조 증거 수집과 타당성 검증 정량 측정 획득을 분리한다. 7.7K 샘플의 Rad-CoT 코퍼스를 구축해 인과관계 순서의 도구 활용 궤적과 보고서 양식 진단 추론을 결합했다. 전체 요약 7문장 읽기 → 090 15:11 ▲ 27 · 댓글 1 멀티턴 에이전트 학습의 진행도 신호, DeltaTTG 제안 강화학습에서 검증 가능한 보상(RLVR)으로 멀티턴 에이전트를 학습할 때 최종 보상만으로는 각 단계의 품질을 판단하기 어려운 문제를 다룬 논문입니다. AI · 머신러닝 · DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter
Key Point 기존 멀티턴 에이전트 강화학습에서 각 단계의 가치를 판단하는 방식의 비용 문제를 해결하는 새로운 접근으로, 실제 성능 향상을 실증한 방법입니다.
핵심 요약
강화학습에서 검증 가능한 보상(RLVR)으로 멀티턴 에이전트를 학습할 때 최종 보상만으로는 각 단계의 품질을 판단하기 어려운 문제를 다룬 논문입니다. 기존 방식은 상태 매칭의 신뢰성 확보나 외부 평가자·인간 주석·작업별 휴리스틱이 필요해 비용이 많이 들기 때문입니다. DeltaTTG는 다양한 정책의 궤적 기록으로부터 저비용 감독 신호를 얻어 재사용 가능한 진행도 신호를 학습합니다. 전체 요약 8문장 읽기 → 091 15:11 ▲ 20 · 댓글 1 LLM 에이전트, 외부 모델 없이 자기개선한다 LLM 기반 에이전트가 파일 시스템·셸과 직접 상호작용하는 하네스 환경에서 작동하지만, 기존 학습 파이프라인은 외부 강력한 모델에 의존하는 일회성 방식에 머물고 있다. AI · 머신러닝 · ClawLoop: Self-Improving Agents via Harness-Native Training Loop
Key Point 기존 LLM 에이전트 학습은 외부 모델과 인간에게 종속되어 근본적 한계가 있는데, ClawLoop은 순환 루프로 자동 개선을 실현하고 작은 모델에도 지식 전이가 가능함을 증명하며 에이전트 학습 패러다임의 전환을 시사한다.
핵심 요약
LLM 기반 에이전트가 파일 시스템·셸과 직접 상호작용하는 하네스 환경에서 작동하지만, 기존 학습 파이프라인은 외부 강력한 모델에 의존하는 일회성 방식에 머물고 있다. ClawLoop은 외부 교사 모델 없이, 최소한의 사전 지식으로 에이전트가 자기개선하는 자체 순환 프레임워크를 제안한다. 과제 합성·진단 기반 난이도 성장·에이전트 기반 검증으로 다양한 학습 과제 풀을 생성하고, SFT와 RL로 에이전트를 업데이트한 후, 롤아웃 행동 분석으로 다음 반복의 피드백을 생성한다. 전체 요약 5문장 읽기 → 092 15:11 ▲ 71 · 댓글 1 PPO의 가치 함수 추적 개선, 수학 추론 성능 7~8점 향상 언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다. AI · 머신러닝 · TPPO: Tracking-Value PPO For Language Model Reasoning
Key Point 강화학습 기반 언어 모델 추론에서 가치 함수의 정확성이 직접적으로 성능을 좌우하는데, 이 방법이 표준 PPO를 크게 능가하는 수학 추론 성능 향상을 보여준다.
핵심 요약
언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다. 논문은 연속된 접두어(prefix) 값들 사이의 관계를 분석하고, 이들이 로그-오즈 공간(log-odds space)에서 덧셈 갱신으로 이루어진 베이지안 분해를 허용함을 보였다. 이 덧셈 구조를 이용해 추적-가치 PPO(TPPO)를 제안하는데, 위치별 스칼라 출력값들을 누적해 가치 로짓(value logits)을 형성하고 재구성된 값들을 통한 종료 결과 지도학습으로 학습된다. 전체 요약 6문장 읽기 → 093 15:11 ▲ 69 · 댓글 5 사용자 행동으로 LLM 학습하는 Vela 프레임워크 현재 LLM은 정적 텍스트나 합성 데이터로만 학습되어 사용자의 선호도·의도·미래 행동을 장기간 행동 데이터에서 추론하는 능력이 부족하다. AI · 머신러닝 · Vela: User Behavior as Supervision Sparks LLM Intelligence
Key Point 개인 비서부터 추천·광고 시스템까지 실제 서비스에서 사용자의 장기 행동 데이터를 기반으로 LLM을 학습시키는 새로운 방식을 제시하며, 실제 데이터로 명확한 성능 향상을 입증했다.
핵심 요약
현재 LLM은 정적 텍스트나 합성 데이터로만 학습되어 사용자의 선호도·의도·미래 행동을 장기간 행동 데이터에서 추론하는 능력이 부족하다. Vela는 실제 사용자 행동 기록을 지도 학습 신호로 변환하는 프레임워크로, 100,000명의 익명화된 사용자 기록에서 91개 실제 작업 템플릿 기반으로 100,000개 태스크를 생성한다. 난이도 기반 필터링과 궤적 선정 기준을 통해 약 75,000개의 학습용 궤적을 선별한다. 전체 요약 6문장 읽기 → 094 15:11 ▲ 60 · 댓글 1 루브릭 기반 강화학습의 보상 해킹, 단계별 그룹화로 해결 루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다. AI · 머신러닝 · Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
Key Point 루브릭 기반 강화학습에서 점수 조작을 방지하고 실제 품질을 높이는 구체적인 방법론이 제시되어, LLM 훈련에서 평가 메커니즘 설계의 중요성을 보여준다.
핵심 요약
루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다. 합산식 집계에서는 기준들이 상호 보완되어, 중요한 결정을 놓친 정책도 불필요한 조언으로 점수를 메워 높은 평가를 받을 수 있다. 임상 상담 실험에서 이런 정책은 루브릭 커버리지는 높아졌지만 의사의 실제 판단 기준에서는 훈련 전 모델보다 성능이 떨어졌다. 전체 요약 7문장 읽기 → 095 12:11 ▲ 64 · 댓글 1 픽셀 재구성 없이 로봇 제어하는 JEPA 모델 등장 Joint-embedding predictive architectures (JEPAs)는 픽셀 재구성 없이 간결한 잠재 세계 모델을 학습하는 방식인데, 기존 파이프라인은 시각 표현과 행동 조건 역학을 따로 학습한 뒤 정책을 추가했다. AI · 머신러닝 · LeWAM: End-to-End World and Action Modeling with JEPAs
Key Point 기존 세계 모델 방식을 통합해 로봇 제어 성공률을 3배 이상 높이고 계획 속도를 획기적으로 개선한 새로운 아키텍처로, 시뮬레이션과 실제 로봇 모두에서 실용성을 입증했다.
핵심 요약
Joint-embedding predictive architectures (JEPAs)는 픽셀 재구성 없이 간결한 잠재 세계 모델을 학습하는 방식인데, 기존 파이프라인은 시각 표현과 행동 조건 역학을 따로 학습한 뒤 정책을 추가했다. 레카이(LeWAM)는 엔드-투-엔드 JEPA로서 다음 잠재 상태 예측과 행동 흐름 매칭을 함께 학습하고, 잠재 상태에 등방 가우시안 제약을 적용한다. 이 설계로 하나의 모델이 정책 직접 실행과 학습된 잠재 역학으로 샘플 행동을 평가하는 효율적인 계획을 모두 지원할 수 있다. 전체 요약 6문장 읽기 → 096 09:11 ▲ 30 · 댓글 2 언어 모델 에이전트를 위한 숨은 표현 자기증류 기법 제안 언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다. AI · 머신러닝 · PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
Key Point 강화학습 기반 에이전트 훈련에서 은닉 상태 정렬이라는 새로운 자기증류 방식으로 기존 방법보다 상당히 높은 성능 개선을 이루었으며, 외부 자원 없이 단순한 구조로 실용적이다.
핵심 요약
언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다. 연구팀은 스킬이 응답 토큰의 80% 이상에서 은닉 상태를 변화시키며, 이 변화를 선형 프로브로 추적할 수 있다는 점을 발견했다. 이를 바탕으로 PR-OPD(Privileged Representation On-policy Self-Distillation) 방법을 제안하며, GRPO 사전학습 후 정책이 각 궤적에 대해 후지학적 스킬을 작성한다. 전체 요약 6문장 읽기 → 097 15:11 ▲ 75 · 댓글 2 병렬 디코딩으로 시각 위치 추정을 빠르게—GroundAnything 논문 기존 자동 회귀(AR) 방식의 시각 그라운딩 모델은 위치 예측을 순차적으로 처리해서 지연 시간이 크다. AI · 머신러닝 · GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed
Key Point 시각 위치 추정(visual grounding)의 속도와 정확성 양립 문제를 해결하는 새 방법론으로, 실시간 응용이 필요한 실무 시스템에서 바로 적용 가능한 기술입니다.
핵심 요약
기존 자동 회귀(AR) 방식의 시각 그라운딩 모델은 위치 예측을 순차적으로 처리해서 지연 시간이 크다. GroundAnything은 그라운딩을 '영상에서 시각 증거 추출'로 재정의하고, 개별 객체와 위치의 공간 관계가 좌에서 우로의 생성 순서를 따를 필요 없다고 본다. 이를 위해 양방향 확산(bidirectional diffusion) 방식을 적용해 공간 가설들을 병렬로 생성하고 반복 디노이징으로 공동 정제한다. 전체 요약 8문장 읽기 → 098 15:11 ▲ 261 · 댓글 2 로봇·자율주행용 '공간 인지' 기초 모델 GroundingPI 공개 Hugging Face와 arXiv의 공동 발표로, GroundingPI라는 40억 개 파라미터 크기의 기초 모델을 소개한다. AI · 머신러닝 · GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives
Key Point 로봇 팔과 자율주행 자동차가 정확하고 빠르게 물체를 인식해야 하는데, 기존 범용 시각 모델 대신 공간 좌표 인식에 특화한 기초 모델을 쓰면 성능이 크게 오른다는 실증적 결과를 제시한다.
핵심 요약
Hugging Face와 arXiv의 공동 발표로, GroundingPI라는 40억 개 파라미터 크기의 기초 모델을 소개한다. 이 모델은 점과 박스 형태의 정량화된 좌표를 공유 어휘로 생성해, 혼잡한 환경과 작은 물체의 위치 파악을 빠르게 수행한다. 다중모달·공간 사전학습, 지도학습, GRPO 강화학습을 결합해 학습하며, 공개 데이터셋과 자체 데이터 엔진의 감시 신호를 활용했다. 전체 요약 8문장 읽기 → 099 06:11 ▲ 10 · 댓글 2 생명과학 LLM이 실제로 생물학 데이터를 활용하지 않는다 DNA, 단백질, 단일세포 작업을 다루는 6개의 생명과학 추론 모델을 검증한 결과, 벤치마크 성능이 높아도 실제로는 생물학적 입력을 거의 활용하지 않는 것으로 나타났다. AI · 머신러닝 · When Do Biological Reasoning Models Use Their Biological Inputs?
Key Point 생명과학 분야의 AI 모델들이 높은 벤치마크 성능을 보이고 있지만, 실제로는 생물학적 데이터를 무시하고 텍스트 정보에만 의존하는 것으로 밝혀져 이들 모델의 신뢰성과 해석 가능성에 근본적인 의문을 제기한다.
핵심 요약
DNA, 단백질, 단일세포 작업을 다루는 6개의 생명과학 추론 모델을 검증한 결과, 벤치마크 성능이 높아도 실제로는 생물학적 입력을 거의 활용하지 않는 것으로 나타났다. BioReason과 BioReason-Pro의 경우 Evo2와 ESM3 같은 생물학 기초 모델의 기여도가 미미했으며, DNA 서열을 무작위로 섞어도 질병 예측 정확도가 거의 변하지 않았다. 두 모델이 텍스트 정보가 아닌 생물학적 입력에 충돌이 있을 때 텍스트를 따르는 비율이 97.9%와 99.7%에 달했다. 전체 요약 8문장 읽기 → 100 03:11 ▲ 192 · 댓글 79 메타, 개인 에이전트 전문 AI '뮤즈 원더' 공개 메타가 개인 및 업무용 에이전트 작업에 최적화한 대형 모델 '뮤즈 원더'와 상위 버전 '뮤즈 원더 풀'을 발표했다. AI · 머신러닝 · Muse Wonder
Key Point 개인 정보 접근 권한을 가진 AI 에이전트가 안전성과 신뢰성을 어떻게 확보하는지, 강화학습과 사전학습을 통해 어떤 역량을 갖추게 되는지 보여주는 기술 사례이기 때문이다.
핵심 요약
메타가 개인 및 업무용 에이전트 작업에 최적화한 대형 모델 '뮤즈 원더'와 상위 버전 '뮤즈 원더 풀'을 발표했다. 뮤즈 원더는 Active Memory(중요 정보를 대화 전체에 걸쳐 유지·검색)와 Active Focus(목표 달성을 위해 대안을 시도하고 문제 해결에 지속적으로 노력)를 통합했다. 뮤즈 원더는 메타 모델 API와 뮤즈 코드를 통해 오늘 이용 가능하며, 뮤즈 원더 풀은 뮤즈 코드 구독자를 위해 제공된다. 전체 요약 10문장 읽기 →