쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
7건 · "reward model"조건 지우기 ×
001 18:12 ▲ 20 · 댓글 2 결과값만으로 프로세스 감시 모델 자동 생성 Process reward models(PRMs)는 LLM의 중요한 구성요소인데, 인간의 단계별 주석이 확장하기 어렵고 몬테카를로 추정은 계산 비용이 크면서 정확도도 낮은 문제가 있다. AI · 머신러닝 · Inducing Process Supervision from Outcome-Only Reinforcement Learning
Key Point 프로세스 감시 모델 학습의 최대 병목인 인간 주석을 없애고 결과값 라벨만으로 효과적인 단계별 검증 능력을 자동으로 유도할 수 있다는 것이 핵심이다.
핵심 요약
Process reward models(PRMs)는 LLM의 중요한 구성요소인데, 인간의 단계별 주석이 확장하기 어렵고 몬테카를로 추정은 계산 비용이 크면서 정확도도 낮은 문제가 있다. TIPS(Thinking-Induced Process Supervision)는 결과값(정답 여부)만으로 생성형 PRM을 학습하는 강화학습 프레임워크로, 모델이 추론 과정과 단계별 레이블, 최종 결과값을 함께 생성한다. 보상은 예측 결과가 정답과 일치하는지 여부에만 의존하며, 그룹 상대 이점을 통해 전체 응답을 최적화한다. 전체 요약 7문장 읽기 → 002 18:12 ▲ 17 · 댓글 2 잠재 공간에서 보상 모델링, 추론 비용 6배 이상 절감 현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다. AI · 머신러닝 · Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression
Key Point 보상 모델은 LLM 정렬의 핵심인데, 기존 방식이 추론 시간을 6배 이상 줄일 수 있다면 생성형 AI 개발의 경제성을 크게 높일 수 있다.
핵심 요약
현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다. LatentGRM은 의미 청킹·압축·재구성 기반의 잠재 평가 프레임워크로, 평가 루브릭 구조를 활용해 압축을 유도한다. 텍스트 평가 생성 없이 연속적 잠재 궤적만으로 페어별 판단을 수행하며, 별도 인터프리터가 평가 텍스트를 재구성한다. 전체 요약 6문장 읽기 → 003 18:33 ▲ 11 · 댓글 2 긴 작업의 진행률을 아는 게 왜 이렇게 어려울까 로봇 같은 embodied agent가 장기 작업을 수행할 때, 현재 프레임만으로는 얼마나 진행했는지 판단하기 어렵다는 문제를 '문맥 의존적 진행률 추정'으로 정의했다. AI · 머신러닝 · ProgressCompass: Embodied Progress Reward Models Are Lost Without the Right Context
Key Point 로봇 작업 완수 시 진행 상황을 정확히 추적하는 것이 단순히 현재 상황만으로는 불가능하다는 근본적인 문제를 드러내고, 범용 모델 활용으로 기존 시스템을 개선할 수 있는 실질적 해법을 제시하기 때문이다.
핵심 요약
로봇 같은 embodied agent가 장기 작업을 수행할 때, 현재 프레임만으로는 얼마나 진행했는지 판단하기 어렵다는 문제를 '문맥 의존적 진행률 추정'으로 정의했다. 기존 Progress Reward Models(PRMs)는 각 단계에서 작업 진행도를 점수화하는데, 장기 작업에서는 이전에 일어난 일들의 맥락이 필요하지만 대부분 현재 관찰만으로 작동한다. 연구팀이 24개 조작 작업 120 에피소드로 구성한 ContextProgress-Bench를 구축했으며, 상태 재호출(이전 정보가 현재 프레임에 없음), 순서 추적(단계들이 정해진 순서대로 진행), 반복 구분(비슷한 프레임이 다른 진행 단계에 나타남) 등 3가지 시나리오를 다룬다. 전체 요약 6문장 읽기 → 004 06:11 ▲ 23 · 댓글 1 보상 모델의 편향을 동적으로 교정하는 BiasReducer 공개 LLM의 보상 모델은 길이나 자신감 같은 피상적 특성에 편향되어 정확하지 않지만 점수가 높은 응답을 만드는 문제가 있다. AI · 머신러닝 · BiasReducer: Adaptive Bias Mitigation for Reward Models
Key Point LLM 학습을 안내하는 보상 모델의 숨겨진 편향을 재학습 없이 교정할 수 있는 방법이 나왔으므로, 보상 모델 기반 LLM 최적화의 신뢰성을 높일 수 있다.
핵심 요약
LLM의 보상 모델은 길이나 자신감 같은 피상적 특성에 편향되어 정확하지 않지만 점수가 높은 응답을 만드는 문제가 있다. 기존 편향 완화 방식은 모델 재학습이 필요하거나 알려진 편향 하나에만 고정된 교정을 적용하는 한계가 있다. BiasReducer는 보상 모델의 선형 헤드만 편집하고 각 데이터셋마다 맞춤형 편향 교정을 선택하는 경량 프레임워크다. 전체 요약 8문장 읽기 → 005 15:11 ▲ 84 · 댓글 1 이미지 생성 AI를 판단하는 새로운 기준, 생각하는 리워드 모델 이미지 생성 AI의 성능을 평가하는 리워드 모델 개선 연구로, 기존 방식이 평가 기준을 암묵적으로만 적용하는 문제를 해결합니다. AI · 머신러닝 · Think Before You Score: Thinking Reward Model for Visual Generation
Key Point 이미지 생성 AI의 자동 평가 방식을 근본적으로 바꾸고, 이를 통해 생성 모델 최적화를 더 효과적으로 할 수 있다는 점이 중요합니다.
핵심 요약
이미지 생성 AI의 성능을 평가하는 리워드 모델 개선 연구로, 기존 방식이 평가 기준을 암묵적으로만 적용하는 문제를 해결합니다. 제안하는 TRM(Thinking Reward Model)은 각 상황에 맞춘 평가 기준을 먼저 명시적으로 결정한 후 생성 결과를 판단하는 방식으로 작동합니다. 경우별로 적응형 평가 기준을 만들고, 기준에 맞춰 세부 평가를 수행한 뒤 미세한 정도의 점수를 산출합니다. 전체 요약 6문장 읽기 → 006 15:11 ▲ 23 · 댓글 1 LLM 정렬을 위한 확산 기반 보상 모델 등장 기존 보상 모델은 각 프롬프트-응답 쌍을 단일 점 추정값이나 고정된 분포로 축소하지만, 인간 선호도는 본질적으로 다중모달이다—같은 응답이 여러 방식으로 합리적으로 평가될 수 있다. AI · 머신러닝 · Diffusion Reward Models
Key Point 인간의 다양한 판단 방식을 반영하는 새로운 보상 모델이 RLHF 학습에서 성능 개선을 직접 입증했기 때문에, LLM 정렬 연구에 실질적 영향을 미칠 수 있다.
핵심 요약
기존 보상 모델은 각 프롬프트-응답 쌍을 단일 점 추정값이나 고정된 분포로 축소하지만, 인간 선호도는 본질적으로 다중모달이다—같은 응답이 여러 방식으로 합리적으로 평가될 수 있다. 이를 해결하기 위해 Diffusion Reward Model(DRM)을 제안하며, 이는 보상 모델링을 조건부 밀도 추정 문제 p(r|x,y)로 재구성한다. DRM은 동결된 LLM 인코더를 기반으로 경량 Diffusion Transformer가 가우시안 노이즈를 보상 벡터로 제거(denoising)하며, 출력 분포에 대한 매개변수 가정 없이 자연스럽게 다중모달 구조를 표현한다. 전체 요약 8문장 읽기 → 007 22:29 ▲ 24 · 댓글 2 영상 생성 AI의 보상 신호 불안정성, 기준 기반 평가로 해결 영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. AI · 머신러닝 · RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
Key Point 영상 생성 AI를 강화학습으로 최적화할 때 보상 신호의 불안정성은 학습 효율을 크게 떨어뜨리는데, 명시적 평가 기준을 도입하는 이 접근법이 문제 해결에 새로운 방향을 제시한다.
핵심 요약
영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. RewardVerse는 평가 기준을 동적으로 생성한 후 그에 맞춰 점수를 매기는 방식으로, 명시적 평가 기준을 중간 표현으로 삽입해 점수의 안정성을 높인다. 이를 효율적으로 최적화하기 위해 제안된 Rubric-Guided Policy Optimization(RGPO)는 자기진화 초기 기준으로 평가 모델을 먼저 준비한 후, 기준 생성기와 평가기를 함께 최적화하면서 인간 평가와 정렬하는 2단계 학습 알고리즘이다. 전체 요약 4문장 읽기 → 
