쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
22건 · "정책 최적화"조건 지우기 ×
001 18:11 ▲ 136 · 댓글 2 강화학습 자기 증류로 언어모델 추론 능력 향상 언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. AI · 머신러닝 · Function-Space Temporal Self-Distillation for Policy Optimization
Key Point 언어모델 훈련 효율성과 메모리 사용량을 동시에 개선하는 새로운 자기 증류 방식이 공개되어, 대규모 모델 개발 비용 절감에 관심 있는 연구자와 개발자가 참고할 만하다.
핵심 요약
언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. 자기 증류는 보조 없는 정책과 피드백 기반 자기교사를 비교해 토큰 수준의 밀집된 지도를 제공하지만, 교사 모델이 학생과 함께 진화하면서 불안정한 목표와 추가 정규화의 필요성을 야기한다. 논문은 함수 공간 정책 최적화(FSPO)를 제안하며, 현재 특권화된 적응과 함수 공간 시간적 통합을 하나의 정책 프레임워크에서 결합한다. 전체 요약 8문장 읽기 → 002 18:11 ▲ 13 · 댓글 2 언어모델이 언어모델 개선을 학습하다 LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. AI · 머신러닝 · Language Models Learn to Improve Language Models
Key Point LLM이 AI 개발 프로세스를 자동으로 개선하는 능력을 갖추게 되면서 모델 개발 비용과 속도의 판도가 바뀔 수 있기 때문입니다.
핵심 요약
LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. 첫째, 강화학습으로 수만 개 제안을 평가하려면 수십만 GPU시간이 필요해 비용이 매우 크다. 둘째, 대리 피드백은 정책 최적화 과정에서 과대평가된 제안을 선호하면서 신뢰도가 떨어진다. 전체 요약 7문장 읽기 → 003 15:11 ▲ 40 · 댓글 4 AI 동료의 협업 능력 키우는 학습 환경 자동 생성 AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다. AI · 머신러닝 · CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents
Key Point AI 에이전트가 실제 업무 환경에서 도구를 조합하고 다단계로 소통하며 학습하는 방식이 어떻게 체계화되는지 보여주며, 구체적 성능 향상 수치로 실용 가치를 입증한다.
핵심 요약
AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다. CoworkEnv는 이런 AI 동료를 위한 실행 가능한 학습 환경을 자동으로 생성하는 프레임워크다. 업무 요구사항이 작업 구성을 가이드하고, 프로그램 검증과 피드백 기반 수정으로 사양과 채점 방식을 자동 생성한다. 전체 요약 7문장 읽기 → 004 15:11 ▲ 111 · 댓글 2 로봇 집단의 경험을 공유해 정책 학습 향상 로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. AI · 머신러닝 · Learning from Fleet Experience: A Collective Learning Paradigm for Robots
Key Point 로봇 집단 학습이 전문가 개입 없이 배치된 환경에서 정책을 개선하는 실질적 방법을 제시하며, 규모가 커질수록 성능이 향상되는 스케일러빌리티를 보여준다.
핵심 요약
로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. 연구팀은 집단 경험 학습(CEL) 패러다임을 제안했으며, 배치된 로봇들이 실행 경험을 공유해 공통 정책을 개선한다. 실패 안내 경험 검색 미세조정(FERT)이라는 구체적 방식으로, 로봇 실행 중 발생한 실패 상황을 바탕으로 집단의 성공 경험에서 관련 궤적을 검색해 그 행동을 감독 신호로 정책을 업데이트한다. 전체 요약 8문장 읽기 → 005 15:11 ▲ 17 · 댓글 2 자동주행 AI, 시뮬레이션으로 가상 주행 영상 학습 자동주행 세계 액션 모델(WAM)은 실제 주행 로그에서 기록된 궤적에 대한 영상 데이터만 갖고 있어, 강화학습으로 탐색한 대안적 궤적에는 시각적 감독이 없다. AI · 머신러닝 · SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
Key Point 자동주행 AI가 시뮬레이션으로 생성한 가상 영상을 학습 데이터로 사용해 강화학습 후보 궤적도 감독할 수 있게 되어, 제한된 실제 데이터만으로도 계획 성능을 5% 이상 향상시킬 수 있다.
핵심 요약
자동주행 세계 액션 모델(WAM)은 실제 주행 로그에서 기록된 궤적에 대한 영상 데이터만 갖고 있어, 강화학습으로 탐색한 대안적 궤적에는 시각적 감독이 없다. SimVTA는 이 문제를 해결하기 위해 시뮬레이션 기반 사후훈련 프레임워크를 제안한다. 각 관찰에 대해 후보 궤적을 샘플링하고, 3D 가우시안 스플래팅(3DGS)으로 재구성한 실제 장면에서 월드 엔진 같은 시뮬레이터로 높은 보상을 받는 궤적들의 미래 영상을 렌더링한다. 전체 요약 8문장 읽기 → 006 15:11 ▲ 23 · 댓글 2 확산 모델 강화학습을 위한 라우팅 정책 최적화 기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. AI · 머신러닝 · Routing Policy Optimization for Online Diffusion Reinforcement Learning
Key Point 생성 모델을 보상 신호로 정렬할 때 훈련 효율을 4배 향상시키면서도 추론 시 모델의 원래 특성을 유지하는 새로운 강화학습 기법이 제시되어, 확산 모델 최적화의 실질적 한계를 해결한다.
핵심 요약
기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. Routing Policy Optimization (RPO)는 어텐션 라우팅을 확률적 탐색 행동으로 변환하여 이를 답한다. 선택된 몇 개의 디노이징 단계에서 각 쿼리 블록은 자신의 블록을 유지하면서 생성 모델의 자연스러운 어텐션 질량에 비례하여 추가 키 블록을 샘플링하거나 밀집 어텐션을 유지한다. 전체 요약 9문장 읽기 → 007 12:11 ▲ 26 · 댓글 1 터미널 에이전트를 단계적으로 강화하는 Terminal-RSI 알고리즘 터미널 에이전트의 성능을 높이기 위해 검증된 궤적 재작성(RSR)과 정책 개선(RPR)을 교대로 적용하는 Terminal-RSI를 제안했다. AI · 머신러닝 · Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
Key Point 에이전트가 복잡한 터미널 작업을 완전히 완료하도록 유도하는 새로운 학습 방식이 여러 벤치마크에서 뚜렷한 개선을 보여주고 있다.
핵심 요약
터미널 에이전트의 성능을 높이기 위해 검증된 궤적 재작성(RSR)과 정책 개선(RPR)을 교대로 적용하는 Terminal-RSI를 제안했다. Turn-Boundary Skip-Observation GAE(TB-GAE) 방식으로 토큰별 기준선을 유지하면서 상호작용 턴 간 감쇠를 적용한다. Family Dense Reward(FDR)는 작업군 간 의미론적 진행을 조정하고, Success-Prioritized Reward(SPR)는 완전한 성공과 부분 성공을 구분한다. 전체 요약 8문장 읽기 → 008 15:11 ▲ 54 · 댓글 2 토큰 대신 행동 기준으로 언어모델 에이전트 증류하기 언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다. AI · 머신러닝 · ActionOPD: Distilling Decisions, Not Tokens
Key Point 작은 언어모델을 강력한 에이전트로 만드는 증류 방식의 근본적인 패러다임 전환으로, 토크나이저 의존성 없이 더 유연한 모델 간 지식 이전이 가능해진다.
핵심 요약
언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다. 연구팀은 의미 있는 행동(semantic actions)을 증류 감시 신호로 사용하는 ActionOPD(행동 수준 온폴리시 증류) 방법을 제안했다. ActionOPD는 학생 모델이 마주친 각 상태에서 학생과 블랙박스 교사 모델에서 모두 행동을 샘플링하고, 학생 행동의 의미적 일치도에 따라 보상을 준다. 전체 요약 7문장 읽기 → 009 18:11 ▲ 66 · 댓글 1 흉부 X선 진단에 도구 활용한 AI 에이전트, ChestAgentBench서 최고 성능 흉부 X선(CXR) 해석은 직접 시각 인식만으로는 부족하며 외부 도구를 통한 증거 통합이 필요한데, 기존 도구 활용 의료 에이전트는 언제 보조 증거가 필요한지 학습하거나 부적절한 정량 데이터를 차단하는 명시적 메커니즘이 부족하다. AI · 머신러닝 · X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning
Key Point 의료 AI가 X선 이미지 분석 시 외부 측정 도구를 필요한 순간에만 올바르게 활용하는 방식을 개선함으로써, 의료 진단 시스템의 신뢰성과 설명 가능성을 높이는 구체적인 접근 방식을 제시합니다.
핵심 요약
흉부 X선(CXR) 해석은 직접 시각 인식만으로는 부족하며 외부 도구를 통한 증거 통합이 필요한데, 기존 도구 활용 의료 에이전트는 언제 보조 증거가 필요한지 학습하거나 부적절한 정량 데이터를 차단하는 명시적 메커니즘이 부족하다. 이를 해결하기 위해 X-Ragent라는 도구 활용 강화학습 후학습 프레임워크를 제안하며, 이는 보조 증거 수집과 타당성 검증 정량 측정 획득을 분리한다. 7.7K 샘플의 Rad-CoT 코퍼스를 구축해 인과관계 순서의 도구 활용 궤적과 보고서 양식 진단 추론을 결합했다. 전체 요약 7문장 읽기 → 010 18:12 ▲ 10 · 댓글 2 정책 증류에서 상대적 차이의 전이 메커니즘 규명 온-정책 증류(OPD)는 강사 정책에서 학생 정책을 감독하되, 기존에는 강사가 월등히 뛰어나야 효과적이었다. AI · 머신러닝 · Rethinking Relative Policy Differences Transfer of On-Policy Distillation
Key Point 강화학습 정책 증류에서 어떤 강사-참조 조합이 효과적인지, 모델 간 지식 전이 가능 조건을 규명해 실제 응용의 성공률을 높일 수 있기 때문이다.
핵심 요약
온-정책 증류(OPD)는 강사 정책에서 학생 정책을 감독하되, 기존에는 강사가 월등히 뛰어나야 효과적이었다. 최근 연구는 강사의 절대 분포 대신 강사와 참조 정책 간의 상대적 차이를 전이하는 방식을 제안했지만, 어떤 차이가 유용한 감독을 제공하고 어떤 대상이 이득을 볼 수 있는지는 불명확했다. 연구팀은 프록시 강사와 프록시 참조 간의 로그 확률 비를 KL 정규화 정책 최적화의 암묵적 보상으로 해석하는 통합 이론을 개발했다. 전체 요약 9문장 읽기 → 011 18:12 ▲ 32 · 댓글 2 OCR을 넘어 텍스트 기반 시각 지능으로: PolyOCR 모델 공개 Hugging Face와 arXiv에서 공개된 PolyOCR-Venus는 단순한 텍스트 인식을 넘어 복잡한 시각 환경에서 텍스트를 인식·위치파악·추론하는 통합 OCR 기초 모델이다. AI · 머신러닝 · PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence
Key Point OCR 기술이 단순 텍스트 추출에서 복잡한 문서 이해와 추론으로 확장되는 가운데, 여러 작업을 균형있게 수행하는 통합 모델의 등장은 문서 처리, 정보 추출, 자동화 분야에 실질적인 영향을 미칠 수 있다.
핵심 요약
Hugging Face와 arXiv에서 공개된 PolyOCR-Venus는 단순한 텍스트 인식을 넘어 복잡한 시각 환경에서 텍스트를 인식·위치파악·추론하는 통합 OCR 기초 모델이다. 기존 OCR 시스템은 특정 작업에만 강하고 인식, 파싱, 추론을 균형있게 수행하지 못하는 한계가 있었다. PolyOCR은 명령 추종 프레임워크와 대규모 데이터 엔진을 결합하여 서로 다른 시각 자원을 검증된 OCR 감독 신호로 변환한다. 전체 요약 6문장 읽기 → 012 12:11 ▲ 12 · 댓글 2 강화학습의 그래디언트 기아 현상 해결하는 ReSPO 논문 검증 가능한 보상으로부터의 강화학습(RLVR)에서 롤아웃을 여러 정책 업데이트에 걸쳐 재사용하면, 현재 정책과 데이터 생성 정책 간의 불일치가 심화된다. AI · 머신러닝 · ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
Key Point 강화학습 모델 훈련에서 정책 최적화 과정의 근본적인 문제를 진단하고 이를 해결하는 새로운 알고리즘을 제시하여, 특히 데이터 재사용 효율성이 중요한 LLM 훈련에 직접 적용될 수 있기 때문이다.
핵심 요약
검증 가능한 보상으로부터의 강화학습(RLVR)에서 롤아웃을 여러 정책 업데이트에 걸쳐 재사용하면, 현재 정책과 데이터 생성 정책 간의 불일치가 심화된다. 기존 클리핑 기반 정책 최적화에서 '부호 의존 그래디언트 기아' 문제가 발생하는데, 이는 클리핑이 저중요도 가중치 영역의 미생성 긍정 응답을 억제하면서 동시에 고중요도 영역의 과도 생성 부정 응답이 지배하게 되는 현상이다. 연구팀은 ReSPO(Reshaped Sequence Policy Optimization)를 제안하는데, α-발산 변분 목적함수와 지수 분산 제어 틸트에서 파생된 부드러운 이중 분기 시퀀스 레벨 커널로 클리핑을 대체한다. 전체 요약 6문장 읽기 → 013 03:11 ▲ 16 · 댓글 2 반복 순회로 빠른 추론 성능을 높인 SanSi 모델 사전학습된 언어모델을 타입화된 결정 모델로 변환하는 SanSi를 제안한다. AI · 머신러닝 · SanSi: A Looped Typed Decision Model for System 1.5 Thinking
Key Point 빠른 추론 속도와 높은 정확도를 동시에 원하는 프로덕션 환경에서 루핑을 통한 점진적 성능 향상이 실질적으로 작동함을 보여준다.
핵심 요약
사전학습된 언어모델을 타입화된 결정 모델로 변환하는 SanSi를 제안한다. 기존의 단일 전향 통과(System 1 사고)와 생성형 추론 사이의 중간 영역을 탐색하기 위해 루핑(같은 레이어를 재귀적으로 여러 번 적용)을 도입했다. 각 루프마다 모델이 답변을 생성하지 않고 숨겨진 상태를 수정한 후 의사결정 헤드로부터 각 선택지의 확률을 읽는다. 전체 요약 8문장 읽기 → 014 00:11 ▲ 20 · 댓글 2 Flow 정책 미세조정을 위한 스칼라 수반 매칭 기법 Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. AI · 머신러닝 · Q-Learning with Scalar Adjoint Matching
Key Point Flow 정책의 강화학습 미세조정 비용을 획기적으로 줄이면서도 실제 로봇 제어까지 검증한 실용적 알고리즘이 제안되었다.
핵심 요약
Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. Flow 정책을 학습된 가치 함수로 미세조정하는 것은 정책이 많은 Flow 스텝을 거쳐 행동을 생성하므로 비자명하다. 기존 수반 매칭은 최종 행동에서 각 Flow 스텝으로 가치 정보를 역전파하는 원칙적 방법이지만, 매 스텝마다 벡터-야코비안 곱을 요구해 계산 비용이 Flow 스텝 수와 정책 크기에 따라 증가한다. 전체 요약 9문장 읽기 → 015 18:30 ▲ 19 · 댓글 2 LLM 정책 학습의 동기화 문제를 푸는 KLPO 프레임워크 LLM 에이전트의 비동기 강화학습에서 이전 버전으로 생성한 궤적을 현재 정책으로 학습하는 과정에서 샘플러와 트레이너의 확률 분포가 달라지는 문제를 다룬다. AI · 머신러닝 · On KL-Regularized Policy Optimization
Key Point LLM 강화학습에서 온라인 정책과 생성 정책의 불일치 문제를 일반적으로 해결하는 프레임워크로, 기존 방법보다 효율적이고 여러 알고리즘을 통합한다.
핵심 요약
LLM 에이전트의 비동기 강화학습에서 이전 버전으로 생성한 궤적을 현재 정책으로 학습하는 과정에서 샘플러와 트레이너의 확률 분포가 달라지는 문제를 다룬다. 기존 방식(클리핑이나 GRPO)은 편향을 초래하거나 긴 에피소드에서 계산 비용이 크다는 문제가 있다. 저자들은 KL-정규화 정책 최적화(KLPO)를 제안하며, KL 정규화 항을 샘플러 확률에 고정해 중요도 가중치 없이 직접 최적화할 수 있게 한다. 전체 요약 8문장 읽기 → 016 18:30 ▲ 29 · 댓글 2 저정밀 강화학습의 수치 오차 해결, TRIAGE 방법 제안 NVFP4 저정밀 실행을 통해 대형언어모델의 강화학습을 가속할 수 있지만, 학습기와 샘플러 간 실행 불일치가 정책 최적화를 불안정하게 만드는 문제가 있다. AI · 머신러닝 · TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
Key Point 저정밀 연산으로 LLM 강화학습 속도를 크게 높일 수 있지만 수치 오차로 인한 불안정성이 문제인데, 이 논문이 그 원인을 정확히 분석하고 실질적인 해결책을 제시했기 때문에 LLM 최적화에 관심 있는 개발자와 연구자가 봐야 한다.
핵심 요약
NVFP4 저정밀 실행을 통해 대형언어모델의 강화학습을 가속할 수 있지만, 학습기와 샘플러 간 실행 불일치가 정책 최적화를 불안정하게 만드는 문제가 있다. 연구팀은 불일치가 정책 기울기 방향과 상호작용하는 방식을 분석해, 크기만으로는 식별할 수 없는 국소 증폭 및 감소 영역을 구분했다. NVFP4 실행에서 초기 불균형으로 인해 음수 이점·음수 간극 업데이트가 우세하고, 이러한 토큰들이 불일치가 전역적으로 확산되기 전에 응답 세그먼트의 소수 부분에 집중된다는 패턴을 발견했다. 전체 요약 7문장 읽기 → 017 03:11 ▲ 19 · 댓글 2 루브릭 기반 강화학습의 보상 문제 해결하는 MetaRubric 루브릭 기반 강화학습은 개별 응답 요구사항에 부분 점수를 할당해 개방형 과제를 최적화하지만, 루브릭 판정자가 필수 정보나 행동이 없어도 높은 점수를 주는 '공허한 신용(Vacuous Credit)' 문제가 발생한다. AI · 머신러닝 · MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
Key Point AI 모델의 보상 신호 설계 방식에 근본적인 문제점을 지적하고 의료·과학 분야 QA 성능을 20% 이상 끌어올린 접근법으로, 강화학습 기반 모델 개발에 실질적인 개선 방법을 제시한다.
핵심 요약
루브릭 기반 강화학습은 개별 응답 요구사항에 부분 점수를 할당해 개방형 과제를 최적화하지만, 루브릭 판정자가 필수 정보나 행동이 없어도 높은 점수를 주는 '공허한 신용(Vacuous Credit)' 문제가 발생한다. 이 문제는 필수 정보가 제거된 후에도 지속되며 응답의 GRPO 우위 부호를 역전시킬 수 있다. MetaRubric은 증거 인식 정책 최적화와 응답 기반 루브릭 적응을 교대로 수행하는 방식으로 이를 해결한다. 전체 요약 8문장 읽기 → 018 15:11 ▲ 56 · 댓글 2 다중 보상 RL에서 희소 신호까지 균등하게 학습시키는 방법 다중 보상 강화학습은 LLM이 여러 행동 목표를 동시에 만족하도록 훈련하는데, GDPO의 보상별 정규화 방식도 목표마다 학습 진도가 불균형하다는 문제가 있다. AI · 머신러닝 · Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
Key Point 다중 보상 학습에서 일부 목표만 우선 학습되는 문제를 밀도 기반의 수학적 분석으로 해결하고, 훈련 효율을 크게 개선한 방법론이다.
핵심 요약
다중 보상 강화학습은 LLM이 여러 행동 목표를 동시에 만족하도록 훈련하는데, GDPO의 보상별 정규화 방식도 목표마다 학습 진도가 불균형하다는 문제가 있다. 연구팀은 '장점 에너지(advantage energy)'—배치 내 보상의 제곱된 장점의 합—를 분석하여, 이 에너지가 '활동 밀도'(보상이 0이 아닌 상대적 장점을 제공하는 롤아웃 그룹의 비율)에 비례함을 증명했다. 이는 배치 단위의 신호 불균형을 드러내고, 보상 기여도 보정의 근거를 제공한다. 전체 요약 7문장 읽기 → 019 03:11 ▲ 23 · 댓글 1 텍스트를 선택적으로 압축하는 FocusVTC, 긴 문맥 처리 속도 2.79배 향상 대규모 언어모델의 장문맥 처리는 계산과 메모리 비용이 큰데, 시각 텍스트 압축(VTC)은 텍스트를 이미지로 렌더링해 입력 길이를 줄인다. AI · 머신러닝 · FocusVTC: Efficient and High-Performance Visual Text Compression with Adaptive Resolution
Key Point 긴 문맥을 처리하는 LLM 서비스에서 입력 토큰 수를 2.9배 줄이면서도 성능을 높이고 추론 속도를 2.79배 가속하는 방법이 제시되었으므로, 비용과 속도가 중요한 실제 배포 환경에서 직접 적용할 가치가 있다.
핵심 요약
대규모 언어모델의 장문맥 처리는 계산과 메모리 비용이 큰데, 시각 텍스트 압축(VTC)은 텍스트를 이미지로 렌더링해 입력 길이를 줄인다. 기존 방식은 해상도를 고정하므로 저DPI는 토큰을 절약하지만 가독성을 잃고, 고DPI는 불필요한 내용에 토큰을 낭비하는 문제가 있다. FocusVTC는 적응형 해상도로 이 트레이드오프를 깨뜨렸고, 압축된 저DPI 전역 뷰와 선택적 영역 강화를 결합한다. 전체 요약 9문장 읽기 → 020 15:11 ▲ 28 · 댓글 1 LLM 학습의 불안정성을 해결한 EasyPPO 알고리즘 PPO의 학습된 비평가(Critic)는 기댓값 추정과 정책 기울기 분산 감소에 효과적이지만, LLM 강화학습에서 불안정성의 주요 원인으로 작용한다. AI · 머신러닝 · EasyPPO: Stabilizing the Critic Is Key
Key Point LLM 정책 최적화에서 학습 불안정성을 체계적으로 진단하고 해결하는 방법이 실무적으로 의미가 있기 때문입니다.
핵심 요약
PPO의 학습된 비평가(Critic)는 기댓값 추정과 정책 기울기 분산 감소에 효과적이지만, LLM 강화학습에서 불안정성의 주요 원인으로 작용한다. 논문은 두 가지 비평가 실패 모드를 지적한다: 첫째, 잘린 롤아웃(Truncated Rollout)을 액터와 비평가 모두에서 필터링하면 정책이 완료된 롤아웃에만 조건화되어 완료율이 떨어져도 보상은 증가할 수 있다. 둘째, 이질적 반환 노이즈가 특정 프롬프트의 손실을 지배한다. EasyPPO는 세 가지 개선책을 제시한다: 액터만 롤아웃을 필터링하되 비평가는 완료·미완료 모두를 학습하고, 각 프롬프트의 비평가 손실을 반환값의 표준편차 역수로 가중치 부여하며, 비평가 미니배치를 적당히 줄여 이상치의 영향을 제한한다. 전체 요약 4문장 읽기 → 021 03:11 ▲ 10 · 댓글 3 강화학습으로 LLM 정책 증류 효율성 높이기 논문은 정책 증류(OPD)를 강화학습 관점으로 분석해 역KL 목적함수와 KL정규화 정책 최적화의 연결성을 규명했다. AI · 머신러닝 · An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning
Key Point LLM 정책 증류의 표본 효율성을 강화학습 이론으로 획기적으로 개선한 방법론으로, 수학 추론 등 복잡한 작업에서 필요한 롤아웃을 대폭 줄일 수 있다.
핵심 요약
논문은 정책 증류(OPD)를 강화학습 관점으로 분석해 역KL 목적함수와 KL정규화 정책 최적화의 연결성을 규명했다. 이를 바탕으로 최소제곱 정책 증류(LSPD) 프레임워크를 제안했으며, 값 기반 RL의 낙관적 탐색과 오프정책 데이터 재사용을 결합했다. LSPD는 탐색 중 정책 다양성을 유지하면서도 이전에 수집한 궤적을 반복 학습해 롤아웃 효율성을 개선한다. 전체 요약 6문장 읽기 → 022 22:26 ▲ 13 · 댓글 2 로봇 시각-언어 모델의 안전성 강화, HJ 도달가능성 기반 셰일드VLA 제안 로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. AI · 머신러닝 · ShieldVLA: Feasibility-Aware Safety Alignment for Vision-Language-Action Models
Key Point 로봇 AI 모델의 안전성은 실제 배포 시 가장 중요한 과제이며, ShieldVLA는 기존 트레이드오프 방식을 근본적으로 개선하는 새로운 접근법을 제시한다.
핵심 요약
로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. 현재 방식은 라그랑주 최적화로 누적 비용에 소프트 페널티를 부과하는데, 이는 제약 위반이나 과도하게 보수적 행동을 초래하고 시각 도메인에서 단계별 안전 레이블이 없어 학습이 어렵다. Hamilton-Jacobi(HJ) 도달가능성에 기반한 ShieldVLA를 제안하며, 시각 관찰로부터 HJ 도달가능성 가치함수를 모델-프리 방식으로 근사하여 안전 작동 영역을 추정한다. 전체 요약 6문장 읽기 → 
