쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
7건 · "RLHF"조건 지우기 ×
001 18:13 ▲ 25 · 댓글 2 동영상 감정 표현 평가하는 자기진화형 보상 체계 EmoReward GRPO가 코드와 수학 같은 검증 가능한 영역에서는 성과를 냈지만, 동영상의 감정 표현 평가는 주관적 미학에 의존해 객관적 평가 기준이 없는 문제가 있었다. AI · 머신러닝 · EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL
Key Point 감정 표현이 있는 동영상 생성을 평가하려면 기존 고정 보상 방식보다 상황에 맞는 적응형 평가 체계가 필요한데, EmoReward가 학습 과정 자체에서 보상의 신뢰도를 학습해 자동으로 가중치를 조정하는 방법을 제시한다.
핵심 요약
GRPO가 코드와 수학 같은 검증 가능한 영역에서는 성과를 냈지만, 동영상의 감정 표현 평가는 주관적 미학에 의존해 객관적 평가 기준이 없는 문제가 있었다. 기존 방식은 시각 품질, 모션 품질, 텍스트 정렬에 고정된 보상을 사용해 감정 의도를 제대로 포착하지 못했고, 보상 조작 위험이 있으며, RLHF는 확장이 어렵고 개인 미학 차이에 따라 보정이 복잡해진다. EmoReward는 실제 학습 중에 수집한 보상 추적에서 증거 신뢰도를 추출해 다음 학습에서 다중 보상 가중치를 적응적으로 조정하는 자기진화 메커니즘을 제안한다. 전체 요약 8문장 읽기 → 002 12:11 ▲ 10 · 댓글 1 LLM 강화학습의 훈련-추론 괴리, 근원과 해법 LLM의 온폴리시 강화학습에서는 훈련 시 샘플링 엔진과 그래디언트 계산 모듈이 분리되어 있어, 현재 정책이 아닌 과거 정책에서 샘플링된 오프폴리시 데이터가 발생한다. AI · 머신러닝 · On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
Key Point LLM 강화학습에서 훈련과 추론의 괴리가 발생하는 근본 원인을 규명하고, 모델 성능 저하를 방지하는 실질적 보정 방법을 제시하므로 프로덕션 LLM 훈련에 직접 적용할 수 있다.
핵심 요약
LLM의 온폴리시 강화학습에서는 훈련 시 샘플링 엔진과 그래디언트 계산 모듈이 분리되어 있어, 현재 정책이 아닌 과거 정책에서 샘플링된 오프폴리시 데이터가 발생한다. 이 훈련-추론 괴리는 두 가지 원인에서 비롯된다: 샘플링 엔진의 수치적 오류와 비동기 샘플링으로 인한 가중치의 지연이다. 한 가지 원인에 대한 보정이 다른 원인에서는 실패하는 문제를 해결하기 위해, 논문은 괴리의 원인에 따라 어떤 보정이 필요한지 규명한다. 전체 요약 10문장 읽기 → 003 18:11 ▲ 10 · 댓글 3 LLM 학습 중 병렬화 동적 최적화하는 Nereus 공개 LLM의 강화학습 후학습 단계에서 여러 모델을 GPU 클러스터에 배치할 때 자원 가용성, 시퀀스 길이, 메모리 압박, 단계별 병목 등이 변하면서 초기 실행 계획이 비효율적이 되는 문제를 해결한다. AI · 머신러닝 · Nereus: Adaptive Parallelism for LLM Post-Training
Key Point LLM 후학습에서 GPU 자원과 메모리 상황이 실시간으로 변할 때 자동으로 병렬화 전략을 재조정하므로, 대규모 모델 훈련 비용을 크게 절감하려는 조직이 검토할 필요가 있다.
핵심 요약
LLM의 강화학습 후학습 단계에서 여러 모델을 GPU 클러스터에 배치할 때 자원 가용성, 시퀀스 길이, 메모리 압박, 단계별 병목 등이 변하면서 초기 실행 계획이 비효율적이 되는 문제를 해결한다. Nereus는 비용 인식형 런타임으로서 RL 후학습 작업을 효율적인 실행 계획으로 자동 재조정하며, 저오버헤드 컨트롤러가 메모리 실행 가능한 전역 계획을 선택하고 실행 중인 작업을 기반으로 보정한 비용 모델로 전환을 승인한다. 분산 상태를 모델-단계 단위의 탄력형 모델 유닛으로 표현하고 전역 전환 그래프를 이용해 이들 유닛의 변환과 GPU 전송 순서를 조율한다. 전체 요약 5문장 읽기 → 004 00:11 ▲ 15 · 댓글 1 LLM 강화학습의 훈련-추론 불일치 문제, 보정된 중요도 샘플링으로 해결 LLM 강화학습에서 추론 엔진과 훈련 엔진이 같은 토큰에 다른 확률을 할당하는 '훈련-추론 불일치' 문제를 분석했다. AI · 머신러닝 · Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It
Key Point LLM 강화학습 훈련에서 핵심적인 엔진 간 확률 불일치 문제의 근본 원인을 수학적으로 규명하고 실질적인 해결책을 제시해, 향후 LLM-RLHF 개선에 직접 적용 가능한 방법론을 제공한다.
핵심 요약
LLM 강화학습에서 추론 엔진과 훈련 엔진이 같은 토큰에 다른 확률을 할당하는 '훈련-추론 불일치' 문제를 분석했다. 이 불일치를 로짓 공간의 덧셈 변위(epsilon_t)로 특성화하며, 이 분포가 토큰 신뢰도에 관계없이 대체로 불변임을 발견했다. 이를 바탕으로 '보정된 중요도 샘플링(Calibrated Importance Sampling, CIS)'을 제안했다. 전체 요약 7문장 읽기 → 005 15:11 ▲ 23 · 댓글 1 LLM 정렬을 위한 확산 기반 보상 모델 등장 기존 보상 모델은 각 프롬프트-응답 쌍을 단일 점 추정값이나 고정된 분포로 축소하지만, 인간 선호도는 본질적으로 다중모달이다—같은 응답이 여러 방식으로 합리적으로 평가될 수 있다. AI · 머신러닝 · Diffusion Reward Models
Key Point 인간의 다양한 판단 방식을 반영하는 새로운 보상 모델이 RLHF 학습에서 성능 개선을 직접 입증했기 때문에, LLM 정렬 연구에 실질적 영향을 미칠 수 있다.
핵심 요약
기존 보상 모델은 각 프롬프트-응답 쌍을 단일 점 추정값이나 고정된 분포로 축소하지만, 인간 선호도는 본질적으로 다중모달이다—같은 응답이 여러 방식으로 합리적으로 평가될 수 있다. 이를 해결하기 위해 Diffusion Reward Model(DRM)을 제안하며, 이는 보상 모델링을 조건부 밀도 추정 문제 p(r|x,y)로 재구성한다. DRM은 동결된 LLM 인코더를 기반으로 경량 Diffusion Transformer가 가우시안 노이즈를 보상 벡터로 제거(denoising)하며, 출력 분포에 대한 매개변수 가정 없이 자연스럽게 다중모달 구조를 표현한다. 전체 요약 8문장 읽기 → 006 00:11 ▲ 17 · 댓글 3 오픈소스로 공개된 GLM 초거대 모델 학습법 Rufus-Air는 GLM-4.5-Air-Base(106B-A12B) 모델의 오픈 소스 포스트트레이닝 레시피로, SFT·Reasoning RL·Coding RL·Instruction-Following RL·General Agent·Coding Agent·Search Agent·RLHF 8단계 파이프라인으로 구성된다. AI · 머신러닝 · Rufus-Air: An Open LLM Post-Training Recipe
Key Point 106B급 거대 언어모델의 전체 학습 파이프라인을 완벽히 공개한 첫 사례로, 독립적인 모델 개발을 시도하는 연구팀과 기업들이 직접 참고할 수 있는 실증적 설계서다.
핵심 요약
Rufus-Air는 GLM-4.5-Air-Base(106B-A12B) 모델의 오픈 소스 포스트트레이닝 레시피로, SFT·Reasoning RL·Coding RL·Instruction-Following RL·General Agent·Coding Agent·Search Agent·RLHF 8단계 파이프라인으로 구성된다. 데이터·보상 설계·인프라·단계 순서·단계별 결과를 공개하여 누구나 재현할 수 있도록 했으며, 새로운 인간 주석이나 자체 증류 교사 없이 공개 데이터와 오픈소스 컴포넌트를 그대로 사용했다. 기초 능력부터 고급 능력으로 진행되며, 검증 가능한 보상에서 판사 기반 신호로 점진적으로 전환된다. 전체 요약 5문장 읽기 → 007 22:26 ▲ 102 · 댓글 33 LLM 거부 응답을 영구 손상 없이 우회하는 Engram 기법 기존 가중치 절제(weight abliteration)는 모델 가중치를 영구적으로 변경해 거부 방향을 제거하지만 비거부 작업 성능도 저하시킨다. AI · 머신러닝 · Dynamic Abliteration: Non-Destructive Refusal Suppression via Engram Steering
Key Point LLM의 안전장치를 영구 손상 없이 우회하는 기술이 공개됨에 따라 오픈 소스 모델의 거부 메커니즘 견고성 문제가 현실화되고 있다.
핵심 요약
기존 가중치 절제(weight abliteration)는 모델 가중치를 영구적으로 변경해 거부 방향을 제거하지만 비거부 작업 성능도 저하시킨다. 이 글은 Qwen3-4B 모델을 예로 PyTorch 포워드 훅으로 런타임 중간 잔차 스트림에 개입해 가중치는 완전히 고정한 채 거부 행동을 억제하는 동적 절제(Dynamic Abliteration) 기법을 제시한다. 단일 레이어 벡터 뺄셈은 다운스트림 레이어가 거부 행동을 재구성하므로 작동하지 않음을 시연했다. 전체 요약 10문장 읽기 →