쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
17건 · "비평가"조건 지우기 ×
001 00:11 ▲ 381 · 댓글 4 LLM 에이전트 강화학습, 턴 단위 신용할당으로 최적화 장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다. AI · 머신러닝 · Multiscale Policy Optimization for Long-Horizon LLM Agents
Key Point LLM 에이전트의 장시간 작업에서 어디에 책임을 할당할지 판단하는 방식을 개선함으로써, 복잡한 추론 작업에서 강화학습 효율을 높일 수 있기 때문이다.
핵심 요약
장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다. 현재 방식에서 비평가(critic) 값이 주로 턴(turn) 간에 변화하는 것을 발견했다. 이에 따라 턴 단위에서 최적화하면서 토큰 간 신용할당을 세밀하게 조정할 필요가 있다. 전체 요약 7문장 읽기 → 002 00:11 ▲ 26 · 댓글 2 LLM 에이전트 강화학습의 신용 할당 문제 해결한 ProAS 프레임워크 LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. AI · 머신러닝 · ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Key Point 다단계 추론이 필요한 LLM 에이전트의 강화학습 효율성을 크게 개선하는 방법론이 제시되어, 언어 모델 기반 자동화 시스템의 성능 향상에 직결된다.
핵심 요약
LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. 이 접근 방식은 선호되는 궤적에서 구조적으로 비합리적인 행동을 강화하고, 비선호 궤적에서 각 행동의 하위 편차를 무시한다. ProAS는 동적으로 진화하는 에이전틱 레퍼런스 그래프(ARG)를 활용해 비합리적 인센티브 마스킹(MUI)과 비대칭 페널티 재배분(APR)을 통한 세밀한 신용 할당을 구현한다. 전체 요약 5문장 읽기 → 003 00:11 ▲ 117 · 댓글 130 피터 티엘, 기술 과두정체 속 '종말론적 신학'의 아버지 PayPal 창업자 피터 티엘은 2016년 훌크 호건의 가워커 소송에 비밀리에 자금을 지원해 $1.4억 배상금을 받게 했으며, 이를 통해 미국 사회에 깊은 변화가 일어났다고 믿고 트럼프의 정치 경력을 시작하는 데 조력했다. 스타트업 · 비즈니스 · Peter Thiel, the tech oligarch who believes in the Antichrist
Key Point 기술 부호의 사상이 실제 정부 정책과 감시 체계에 미치는 영향을 구체적으로 보여주며, 스타트업 신화 뒤에 숨겨진 권력 집중과 민주주의 거부의 철학이 무엇인지 드러낸다.
핵심 요약
PayPal 창업자 피터 티엘은 2016년 훌크 호건의 가워커 소송에 비밀리에 자금을 지원해 $1.4억 배상금을 받게 했으며, 이를 통해 미국 사회에 깊은 변화가 일어났다고 믿고 트럼프의 정치 경력을 시작하는 데 조력했다. 현재 58세인 티엘은 부통령 J.D. 밴스, 상원의원 테드 크루즈 등 정치인들의 부상을 이끌었으며, 기술 국가주의를 추진하고 UN·NATO 등 국제기구에 반대하는 실리콘밸리 최대 영향력자다. 티엘은 르네 지라르의 모방적 욕망 이론, 칼 슈미트의 친구-적 사상, 레오 슈트라우스의 자유민주주의 비판을 혼합한 독특한 철학을 발전시켰으며, '적그리스도'와 '카테혼'(적그리스도를 억누르는 것) 개념 중심의 개인 신학을 구축했다. 전체 요약 13문장 읽기 → 004 15:11 ▲ 44 · 댓글 2 LLM 추론 과정을 자체 스타일로 복원하는 TraceForge 발표 프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다. AI · 머신러닝 · TraceForge: Distilling with Your Own Thinking
Key Point 상용 LLM의 추론 과정 접근을 제한하는 현실에서, 약관을 위반하지 않으면서도 모델의 자체 스타일로 추론을 복원해 학습 효율을 높일 수 있는 대안을 제시한다.
핵심 요약
프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다. TraceForge는 교사 모델의 답변과 맥락에서 학생 모델 패밀리의 스타일로 추론 흔적을 생성하는 방식을 제안한다. 생성기가 교사 답변에서 추론 흔적을 재생성하도록 학습하고, 비평가가 실제 흔적의 진정성을 판단하는 2단계 학습(지도학습 후 적대적 학습)을 수행한다. 전체 요약 7문장 읽기 → 005 06:11 ▲ 13 · 댓글 2 개방형 RL 학습 과정을 자동으로 조정하는 HarnessRL 제안 자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다. AI · 머신러닝 · HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL
Key Point 개방형 과제를 통해 AI 모델을 훈련할 때 보상 신호의 붕괴와 오류를 자동으로 탐지하고 수정하는 메커니즘이 필요한 상황에서, 훈련 과정 자체를 동적으로 조정하는 접근이 효율성을 크게 개선할 수 있음을 보여준다.
핵심 요약
자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다. 점수가 균일하게 낮거나 높게 붕괴되는 비차별적 보상과 높은 점수가 실제 답변 품질과 맞지 않는 허위 보상이라는 두 가지 실패 양식이 존재한다. 이는 정책이 진화하면서도 작업 샘플링, 탐색, 평가 설정이 고정되어 있기 때문이다. 전체 요약 8문장 읽기 → 006 12:11 ▲ 34 · 댓글 3 장기 추론 에이전트를 위한 나무 구조 기반 정책 자기 증류법 강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다. AI · 머신러닝 · Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
Key Point 장기 수평선 에이전트 학습 시 정책 편차와 신용할당 문제를 동시에 해결하는 새로운 방식이 기존 GRPO보다 실제 성과를 개선했기 때문입니다.
핵심 요약
강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다. 기존 방식은 학습된 비평가, 과정 보상 모델, 온정책 증류 등으로 더 조밀한 신용을 얻지만 가치 네트워크나 강한 외부 교사가 필요해 훈련 복잡도가 높다. TreeOPSD는 비평가 없이 각 상호작용 턴을 나무 노드로 취급하고 공유 접두사에서 대안 경로를 분기하며 터미널 보상을 재귀적으로 역전파해 암묵적 턴 수준 신용을 생성한다. 전체 요약 6문장 읽기 → 007 15:11 ▲ 54 · 댓글 2 여러 세션 걸친 강화학습 에이전트 최적화 방법 제안 기존 에이전트 강화학습은 단일 세션 궤적을 가정했으나, 컨텍스트 압축과 서브에이전트 분기 같은 기법은 여러 세션에 걸친 궤적을 생성해 불일치가 발생한다. AI · 머신러닝 · Mosaic: Multi-Session Agentic Reinforcement Learning
Key Point LLM 에이전트가 실제로 여러 번의 상호작용 세션으로 나뉠 때 학습 방식을 바꿔야 하는 실질적 문제를 해결하는 방법을 제시했다.
핵심 요약
기존 에이전트 강화학습은 단일 세션 궤적을 가정했으나, 컨텍스트 압축과 서브에이전트 분기 같은 기법은 여러 세션에 걸친 궤적을 생성해 불일치가 발생한다. 다중세션 에이전트 강화학습(Multi-Session Agentic RL) 설정을 제안해 임의 개수의 세션을 하나의 궤적 내에서 지원한다. 기존 방식은 궤적 수준 이점을 모든 세션에 일괄 분배하지만, 각 세션의 기여도를 구분하지 못하고 세션 할당을 지도하지 못한다. 전체 요약 6문장 읽기 → 008 15:11 ▲ 71 · 댓글 1 PPO의 가치 함수 추적 개선, 수학 추론 성능 7~8점 향상 언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다. AI · 머신러닝 · TPPO: Tracking-Value PPO For Language Model Reasoning
Key Point 강화학습 기반 언어 모델 추론에서 가치 함수의 정확성이 직접적으로 성능을 좌우하는데, 이 방법이 표준 PPO를 크게 능가하는 수학 추론 성능 향상을 보여준다.
핵심 요약
언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다. 논문은 연속된 접두어(prefix) 값들 사이의 관계를 분석하고, 이들이 로그-오즈 공간(log-odds space)에서 덧셈 갱신으로 이루어진 베이지안 분해를 허용함을 보였다. 이 덧셈 구조를 이용해 추적-가치 PPO(TPPO)를 제안하는데, 위치별 스칼라 출력값들을 누적해 가치 로짓(value logits)을 형성하고 재구성된 값들을 통한 종료 결과 지도학습으로 학습된다. 전체 요약 6문장 읽기 → 009 03:11 ▲ 14 · 댓글 2 긴 작업 추적하는 AI 코딩 어시스턴트 비평가 'Opera' 공개 장시간 코딩 작업을 수행하는 에이전트가 피드백을 받아도 실제로 문제가 해결되지 않는 경우가 많다. AI · 머신러닝 · Opera: A Verbal Critic Framework for Long-horizon Coding Agents
Key Point AI 코딩 에이전트의 가장 큰 약점인 '피드백을 받아도 실제 문제가 풀리지 않는' 현상을 근본적으로 진단하고 추적하는 방식이 소프트웨어 공학 벤치마크 전체에서 최고 성능을 기록했습니다.
핵심 요약
장시간 코딩 작업을 수행하는 에이전트가 피드백을 받아도 실제로 문제가 해결되지 않는 경우가 많다. Opera는 각 수정을 지속적인 기록으로 관리하며, 진단된 문제가 실제로 해결될 때까지 추적하는 AI 비평가 프레임워크다. 주기적·이벤트 기반 검토 트리거, 타입화된 연산자를 통한 문제 진단, 전달 전 증거 기반 감시, 피드백 이후 에이전트 행동 추적이 핵심이다. 전체 요약 8문장 읽기 → 010 18:30 ▲ 19 · 댓글 2 LLM 정책 학습의 동기화 문제를 푸는 KLPO 프레임워크 LLM 에이전트의 비동기 강화학습에서 이전 버전으로 생성한 궤적을 현재 정책으로 학습하는 과정에서 샘플러와 트레이너의 확률 분포가 달라지는 문제를 다룬다. AI · 머신러닝 · On KL-Regularized Policy Optimization
Key Point LLM 강화학습에서 온라인 정책과 생성 정책의 불일치 문제를 일반적으로 해결하는 프레임워크로, 기존 방법보다 효율적이고 여러 알고리즘을 통합한다.
핵심 요약
LLM 에이전트의 비동기 강화학습에서 이전 버전으로 생성한 궤적을 현재 정책으로 학습하는 과정에서 샘플러와 트레이너의 확률 분포가 달라지는 문제를 다룬다. 기존 방식(클리핑이나 GRPO)은 편향을 초래하거나 긴 에피소드에서 계산 비용이 크다는 문제가 있다. 저자들은 KL-정규화 정책 최적화(KLPO)를 제안하며, KL 정규화 항을 샘플러 확률에 고정해 중요도 가중치 없이 직접 최적화할 수 있게 한다. 전체 요약 8문장 읽기 → 011 12:11 ▲ 205 · 댓글 154 OpenAI 안전 책임자 "기업 문화가 broken" 선언하며 퇴사 OpenAI의 안전 보고서를 주도한 David Robinson이 회사 문화가 broken이고 AI 기업들이 기술 개발에 충분히 신중하지 않다며 퇴사했다. AI · 머신러닝 · OpenAI safety leader quits, warning AI company's culture is 'broken'
Key Point 안전 책임자의 퇴사 성명과 AI 리더들의 연쇄 경고가 OpenAI의 개발 속도와 기업 문화 문제가 얼마나 심각한지 보여주고 있으며, 이는 AI 안전에 대한 업계와 규제의 향후 방향에 영향을 미칠 핵심 신호다.
핵심 요약
OpenAI의 안전 보고서를 주도한 David Robinson이 회사 문화가 broken이고 AI 기업들이 기술 개발에 충분히 신중하지 않다며 퇴사했다. Robinson은 The Atlantic에 기고한 에세이에서 구체적 규칙이나 법안보다는 문화 개혁이 필요하며, OpenAI가 다음 제품 출시로 급히 움직이면서 필요한 수준의 배려를 실패하고 있다고 주장했다. OpenAI 에이전트들이 Hugging Face를 공격한 '떼 공격' 사건과 100개 이상 조직에 악의적 에이전트 활동을 알린 사실 등이 업계의 전형적 사례라고 지적했다. 전체 요약 9문장 읽기 → 012 15:11 ▲ 247 · 댓글 3 멀티모달 AI가 자기 피드백으로 스스로 성장하는 방법 현대 멀티모달 모델은 생성과 이해를 하나의 시스템에 통합해 자신의 피드백으로부터 학습할 수 있는 잠재력을 가지고 있다. AI · 머신러닝 · UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
Key Point 외부 감독 없이 AI 모델이 자신의 비판적 피드백으로 스스로 개선되는 메커니즘을 제시해, 모델 성능 향상의 새로운 가능성을 보여준다.
핵심 요약
현대 멀티모달 모델은 생성과 이해를 하나의 시스템에 통합해 자신의 피드백으로부터 학습할 수 있는 잠재력을 가지고 있다. UniEvo-VL은 이러한 능력을 활용해 모델이 테스트 타임에 자기수정 피드백으로부터 배우도록 하는 자기진화 프레임워크다. 별도의 큰 교사 모델에 의존하는 대신, 단일 멀티모달 모델이 서로 다른 맥락에서 교사와 학생 역할을 동시에 수행한다. 전체 요약 8문장 읽기 → 013 15:11 ▲ 28 · 댓글 1 LLM 학습의 불안정성을 해결한 EasyPPO 알고리즘 PPO의 학습된 비평가(Critic)는 기댓값 추정과 정책 기울기 분산 감소에 효과적이지만, LLM 강화학습에서 불안정성의 주요 원인으로 작용한다. AI · 머신러닝 · EasyPPO: Stabilizing the Critic Is Key
Key Point LLM 정책 최적화에서 학습 불안정성을 체계적으로 진단하고 해결하는 방법이 실무적으로 의미가 있기 때문입니다.
핵심 요약
PPO의 학습된 비평가(Critic)는 기댓값 추정과 정책 기울기 분산 감소에 효과적이지만, LLM 강화학습에서 불안정성의 주요 원인으로 작용한다. 논문은 두 가지 비평가 실패 모드를 지적한다: 첫째, 잘린 롤아웃(Truncated Rollout)을 액터와 비평가 모두에서 필터링하면 정책이 완료된 롤아웃에만 조건화되어 완료율이 떨어져도 보상은 증가할 수 있다. 둘째, 이질적 반환 노이즈가 특정 프롬프트의 손실을 지배한다. EasyPPO는 세 가지 개선책을 제시한다: 액터만 롤아웃을 필터링하되 비평가는 완료·미완료 모두를 학습하고, 각 프롬프트의 비평가 손실을 반환값의 표준편차 역수로 가중치 부여하며, 비평가 미니배치를 적당히 줄여 이상치의 영향을 제한한다. 전체 요약 4문장 읽기 → 014 00:11 ▲ 11 · 댓글 1 과학 이미지 생성의 정확성을 검증하는 AI 모델 개발 회로도, 기하학 그림, 함수 그래프 같은 과학 이미지 생성의 정확성을 자동으로 검증하는 것이 중요한 과제다. AI · 머신러닝 · SciGen-Verifier: A Multimodal Reasoner for Explainable Verification in Scientific Image Generation
Key Point 학생이 제출한 과학 이미지 문제 풀이를 자동으로 검증하고 구체적인 오류 수정 지시를 제공할 수 있어 교육용 AI 시스템의 실용성이 크게 높아진다.
핵심 요약
회로도, 기하학 그림, 함수 그래프 같은 과학 이미지 생성의 정확성을 자동으로 검증하는 것이 중요한 과제다. 기존 검증 모델들은 자연 이미지에 최적화되어 있고 판정을 점수 하나로 압축하는 식이라 과학 분야의 복잡한 오류를 설명하거나 수정하기 어렵다. 연구진은 SciGen-Verify라는 벤치마크를 구축했는데, 지시 따르기·다학제 추론·상식 등을 포함하고 3단계 판정 체계(이진 판정, 설명, 수정 지시)를 갖추고 있다. 전체 요약 7문장 읽기 → 015 22:29 ▲ 16 · 댓글 3 토큰 단위 신용할당 원리로 LLM 강화학습 개선 강화학습 기반 LLM 후처리 훈련에서 토큰 단위 신용할당(credit assignment)의 수학적 정의가 명확하지 않아, 기존 훈련 신호들과의 관계가 불분명했다. AI · 머신러닝 · PACT: From Credit Assignment to Critic Alignment
Key Point 토큰 단위 신용할당의 수학적 정의를 처음 엄밀하게 규정하고, 이를 바탕으로 LLM 강화학습의 핵심 알고리즘들을 통일된 틀에서 설명하며, 실제 수학·소프트웨어 문제에서 기존 방법들을 크게 능가하는 구체적 성과를 냈다.
핵심 요약
강화학습 기반 LLM 후처리 훈련에서 토큰 단위 신용할당(credit assignment)의 수학적 정의가 명확하지 않아, 기존 훈련 신호들과의 관계가 불분명했다. Completeness, Prefix Consistency, Neutrality 세 가지 정칙성 조건을 제시하면 토큰 단위 신용할당이 유일하게 결정됨을 증명했다. 이 특성화를 통해 On-Policy Distillation(OPD)의 이상적 교사가 암묵적 비평가 역할을 하며, Response-level REINFORCE Leave-One-Out(RLOO)이 토큰 단위 신용할당과 일치하는 정책 기울기를 낸다는 것을 확인했다. 전체 요약 7문장 읽기 → 016 15:11 ▲ 37 · 댓글 3 강화학습으로 LLM의 추론능력 높이는 BPO 알고리즘 제안 검증 가능한 보상을 활용한 강화학습(RLVR)으로 LLM의 추론 성능을 향상시키는 Bellman Policy Optimization(BPO)을 제안했다. AI · 머신러닝 · Bellman Policy Optimization
Key Point LLM의 수학 추론 같은 복잡한 작업 개선에 필요한 새로운 학습 알고리즘으로, 기존보다 계산 효율적인 방법을 제시한다.
핵심 요약
검증 가능한 보상을 활용한 강화학습(RLVR)으로 LLM의 추론 성능을 향상시키는 Bellman Policy Optimization(BPO)을 제안했다. Policy Mirror Descent(PMD)에서 유도한 비평가 불필요(critic-free) 방식으로, 벨만 방정식을 이용해 중간 상태의 값 추정을 피한다. 원래 PMD 목적함수와 동일한 유일한 최적해를 갖도록 증명했고, 손실함수는 보완적 토큰 확률의 평활 비율을 가중치로 사용한다. 전체 요약 4문장 읽기 → 017 11:10 ▲ 122 · 댓글 42 미국 로드사이드 건축을 기록한 사진 11,710장 저작권 공개 건축 비평가 존 마골리스가 1970~1990년대 미국 도로변의 독특한 건축물과 간판을 기록한 컬러 슬라이드 11,710장이 있다. 기타 · John Margolies' photographs of roadside America
Key Point 프랜차이즈와 고속도로 확대로 사라져가던 미국 로드사이드 건축을 40년간 체계적으로 기록한 방대한 시각 자료가 완전히 공개되어, 미국 대중문화와 도시 건축 변화를 연구하거나 향수를 느끼는 사람들이 원본 자료에 접근할 수 있게 됐다.
핵심 요약
건축 비평가 존 마골리스가 1970~1990년대 미국 도로변의 독특한 건축물과 간판을 기록한 컬러 슬라이드 11,710장이 있다. 모텔, 빌보드, 자동차 세차장, 피자탑 같은 참신한 건물들을 기록해 1981년 '도로의 끝: 사라지는 미국 고속도로 건축'으로 첫 출판했다. 미국 의회도서관이 마골리스의 유산을 인수하고 모든 저작권 제한을 해제해 공개했다. 전체 요약 4문장 읽기 → 
