쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
17건 · "루브릭"조건 지우기 ×
001 18:11 ▲ 89 · 댓글 2 코드 기반 영상 생성 평가하는 벤치마크 등장 멀티모달 에이전트가 코드를 작성해 매 프레임을 렌더링하고 사운드를 합성하는 영상 생성 방식이 부상하고 있다. AI · 머신러닝 · VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
Key Point 코드 기반 영상 생성이 확산형 비디오 모델의 대안으로 떠오르는 가운데, 에이전트 성능을 객관적으로 비교 평가할 수 있는 첫 대규모 벤치마크가 제시되었기 때문이다.
핵심 요약
멀티모달 에이전트가 코드를 작성해 매 프레임을 렌더링하고 사운드를 합성하는 영상 생성 방식이 부상하고 있다. VibeVideoBench는 이 접근법을 평가하는 벤치마크로, 영어와 중국어로 된 239개 자체 완결 과제를 제시한다. 데이터 스토리, 음악 기반 콘텐츠, 수업 영상, 논문 설명 등 12개 카테고리를 아우르며, 에이전트는 1시간 내에 사운드가 포함된 MP4 완성본을 제출해야 한다. 전체 요약 9문장 읽기 → 002 18:11 ▲ 52 · 댓글 2 LLM 에이전트의 지속 학습 능력을 측정하는 벤치마크 CLE 공개 지속 학습(Continual Learning)은 LLM 에이전트가 경험으로부터 지식을 습득·정제·적용하면서 기존 지식을 보존하는 능력으로, 장기적 학습에 필수적이나 현재 평가는 개별 과제 성능 중심이다. AI · 머신러닝 · Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
Key Point LLM이 점진적 경험 누적으로 실제 직무를 수행할 수 있는지 평가하는 새로운 방식이 나왔고, 현존 모델의 이러한 능력이 절반 수준에 불과하다는 객관적 지표를 제시한다.
핵심 요약
지속 학습(Continual Learning)은 LLM 에이전트가 경험으로부터 지식을 습득·정제·적용하면서 기존 지식을 보존하는 능력으로, 장기적 학습에 필수적이나 현재 평가는 개별 과제 성능 중심이다. 허깅페이스와 도메인 전문가 50명이 개발한 CLE는 120개의 인간 저작 과제로 구성되며, 각 과제는 5단계 계단식 구조여서 총 600개 레벨, 12개 직업 도메인 89개 전문 역할에 걸쳐 있다. 에이전트는 각 레벨을 통과해야 다음 레벨을 해제할 수 있고, 뒤의 과제들은 이전 과제에서 축적한 경험에 기반한다. 전체 요약 7문장 읽기 → 003 15:11 ▲ 50 · 댓글 2 보상 해킹을 막는 정밀도 기반 강화학습 루브릭 기반 강화학습은 검증 불가능한 작업에서 효과적이지만, 루브릭 커버리지의 가중치로만 보상을 정의해 재현율만 최대화하는 문제가 있다. AI · 머신러닝 · Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
Key Point 강화학습 보상 함수 설계의 핵심 문제인 목적 왜곡(reward hacking)을 정밀도 메트릭으로 체계적으로 해결하는 방법이 의료·건강 등 신뢰도가 중요한 분야에서 큰 성능 개선을 보여주고 있다.
핵심 요약
루브릭 기반 강화학습은 검증 불가능한 작업에서 효과적이지만, 루브릭 커버리지의 가중치로만 보상을 정의해 재현율만 최대화하는 문제가 있다. 이로 인해 RL 학습 모델은 내용이 길고 불필요하거나 사실적으로 틀린 부분이 많아져 기본 모델보다 선호도가 낮아진다. 이를 해결하기 위해 FORK 보상을 제시하는데, 이는 재현율과 함께 정밀도 목적을 동시에 최적화한다. 전체 요약 7문장 읽기 → 004 18:11 ▲ 66 · 댓글 1 프로그램 이해부터 시각화까지, 오픈소스 멀티모달 코딩 모델 공개 프로그램의 코드와 실행 결과의 시각적 표현을 함께 이해하는 멀티모달 코드 지능 분야에서 오픈소스 진전이 크게 뒤쳐져 있으며, 기존 평가 방식들(실행 결과, 코드 유사도, 작업별 검증기)이 모두 세 가지 요소를 동시에 평가하지 못합니다. AI · 머신러닝 · PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis
Key Point 코드 생성 모델이 시각적 산출물까지 정확히 만들어야 하는 요구사항이 증가하면서, 이를 평가하고 개선하기 위한 체계적 방법론이 부족했던 문제를 해결하는 오픈소스 솔루션이 등장했습니다.
핵심 요약
프로그램의 코드와 실행 결과의 시각적 표현을 함께 이해하는 멀티모달 코드 지능 분야에서 오픈소스 진전이 크게 뒤쳐져 있으며, 기존 평가 방식들(실행 결과, 코드 유사도, 작업별 검증기)이 모두 세 가지 요소를 동시에 평가하지 못합니다. 저자들은 분해된 루브릭 기반 데이터 파이프라인 PrismaForge를 개발하여, 프로그램 정확성·코드 품질·시각적 정확성을 별도 체크리스트로 분해하고 이를 데이터 필터링과 강화학습 보상으로 활용합니다. PrismaForge를 통해 PrismaCoder-2M 데이터셋을 구축했으며, 이는 멀티모달 코드 지능 분야 최대 규모이자 가장 다양한 오픈소스 데이터셋입니다. 전체 요약 5문장 읽기 → 005 06:11 ▲ 13 · 댓글 2 개방형 RL 학습 과정을 자동으로 조정하는 HarnessRL 제안 자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다. AI · 머신러닝 · HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL
Key Point 개방형 과제를 통해 AI 모델을 훈련할 때 보상 신호의 붕괴와 오류를 자동으로 탐지하고 수정하는 메커니즘이 필요한 상황에서, 훈련 과정 자체를 동적으로 조정하는 접근이 효율성을 크게 개선할 수 있음을 보여준다.
핵심 요약
자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다. 점수가 균일하게 낮거나 높게 붕괴되는 비차별적 보상과 높은 점수가 실제 답변 품질과 맞지 않는 허위 보상이라는 두 가지 실패 양식이 존재한다. 이는 정책이 진화하면서도 작업 샘플링, 탐색, 평가 설정이 고정되어 있기 때문이다. 전체 요약 8문장 읽기 → 006 15:11 ▲ 60 · 댓글 1 루브릭 기반 강화학습의 보상 해킹, 단계별 그룹화로 해결 루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다. AI · 머신러닝 · Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
Key Point 루브릭 기반 강화학습에서 점수 조작을 방지하고 실제 품질을 높이는 구체적인 방법론이 제시되어, LLM 훈련에서 평가 메커니즘 설계의 중요성을 보여준다.
핵심 요약
루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다. 합산식 집계에서는 기준들이 상호 보완되어, 중요한 결정을 놓친 정책도 불필요한 조언으로 점수를 메워 높은 평가를 받을 수 있다. 임상 상담 실험에서 이런 정책은 루브릭 커버리지는 높아졌지만 의사의 실제 판단 기준에서는 훈련 전 모델보다 성능이 떨어졌다. 전체 요약 7문장 읽기 → 007 12:11 새 버전 Ollama 0.40.4, 터미널에서 의사결정 모델 직접 실행 Ollama는 의사결정 모델(Decision Model)을 CLI에서 직접 실행할 수 있게 지원하며, 예/아니오 질문 답변, 텍스트 분류, 루브릭 채점 등을 수행할 수 있다. AI · 머신러닝 · ollama/ollama@v0.40.4
Key Point 로컬 AI 모델을 터미널에서 의사결정·분류 작업에 직접 활용할 수 있게 되어 개발자의 워크플로우가 단순화되고, Apple Silicon 최적화와 성능 개선으로 실 사용 환경이 개선된다.
핵심 요약
Ollama는 의사결정 모델(Decision Model)을 CLI에서 직접 실행할 수 있게 지원하며, 예/아니오 질문 답변, 텍스트 분류, 루브릭 채점 등을 수행할 수 있다. MLX 러너가 Apple Silicon에서 Kev 의사결정 모델을 지원하며, ollama launch는 유료 플랜 업그레이드 없이 사용 크레딧으로 실행 가능해졌다. Ollama launch codex는 로컬 설치된 Ollama 모델을 모델 피커에 포함하고 /model 명령으로 모델 전환을 지원한다. 전체 요약 7문장 읽기 → 008 15:11 ▲ 206 · 댓글 2 코딩 에이전트는 요구사항을 제대로 충족할까? 소프트웨어 개발이 AI 코딩 에이전트에 위임되면서, 요구사항을 정확히 구현하는지 검증하는 벤치마크의 필요성이 제기됐다. AI · 머신러닝 · AgentSWE: Can Coding Agents Build the Agent You Actually Want?
Key Point 코딩 에이전트가 프로덕션 소프트웨어를 직접 구축하기 시작한 만큼, 요구사항을 정확히 충족하는지 검증하는 벤치마크 부재가 실제 문제였기 때문이다.
핵심 요약
소프트웨어 개발이 AI 코딩 에이전트에 위임되면서, 요구사항을 정확히 구현하는지 검증하는 벤치마크의 필요성이 제기됐다. AgentSWE 벤치마크는 에이전트 개발의 세 단계를 평가한다: 자연어 요구사항으로부터 완전한 에이전트 작성, 기존 에이전트 코드 수정, 측정 가능한 목표로의 최적화. 각 25개 작업은 시험이 아닌 '의뢰' 형태로, 빌더가 제시된 사례로 반복 개선하면 평가자가 감춰진 사례로 검증한다. 전체 요약 8문장 읽기 → 009 18:12 ▲ 13 · 댓글 2 의료 AI가 스스로 증거를 찾는다, 종단 임상 추론 벤치마크 재단 모델을 임상 에이전트로 활용하되 기존 벤치마크와 달리 미리 선정된 증거가 아닌 임상 기록과 종단 영상 데이터에서 능동적으로 증거를 찾을 수 있도록 설계했다. AI · 머신러닝 · From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning
Key Point 임상 데이터를 능동적으로 탐색하며 종단 추론을 수행하는 의료 AI 에이전트의 새로운 패러다임이 제시되며, 대규모 정제 벤치마크와 학습 방법이 함께 공개될 예정이기 때문이다.
핵심 요약
재단 모델을 임상 에이전트로 활용하되 기존 벤치마크와 달리 미리 선정된 증거가 아닌 임상 기록과 종단 영상 데이터에서 능동적으로 증거를 찾을 수 있도록 설계했다. CASE라는 역할별 임상 에이전트 시리즈와 도구 사용 장치, 컴팩트한 비전-언어 정책 모델 학습 프레임워크를 제안한다. UK Biobank 기반 종단 멀티모달 벤치마크를 구축했으며, 4,739명의 참여자로부터 도출한 ICD-10 코딩 진단에 기반한 50,401개 임상 질문을 포함한다. 전체 요약 8문장 읽기 → 010 18:12 ▲ 17 · 댓글 2 잠재 공간에서 보상 모델링, 추론 비용 6배 이상 절감 현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다. AI · 머신러닝 · Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression
Key Point 보상 모델은 LLM 정렬의 핵심인데, 기존 방식이 추론 시간을 6배 이상 줄일 수 있다면 생성형 AI 개발의 경제성을 크게 높일 수 있다.
핵심 요약
현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다. LatentGRM은 의미 청킹·압축·재구성 기반의 잠재 평가 프레임워크로, 평가 루브릭 구조를 활용해 압축을 유도한다. 텍스트 평가 생성 없이 연속적 잠재 궤적만으로 페어별 판단을 수행하며, 별도 인터프리터가 평가 텍스트를 재구성한다. 전체 요약 6문장 읽기 → 011 18:11 ▲ 24 · 댓글 2 시각 정보로 깊이 있는 조사를 하는 AI 에이전트 OneSearch-VL 이미지·동영상 등 다양한 시각 자료를 사용한 깊이 있는 조사 작업을 통합으로 처리하는 멀티모달 AI 에이전트 OneSearch-VL을 발표했다. AI · 머신러닝 · OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
Key Point 시각 정보를 활용한 복잡한 조사 작업을 자동화하는 에이전트 기술의 새로운 접근법이며, 이미지와 동영상을 다루는 멀티모달 AI의 핵심 과제인 시각적 근거 추적을 해결했다.
핵심 요약
이미지·동영상 등 다양한 시각 자료를 사용한 깊이 있는 조사 작업을 통합으로 처리하는 멀티모달 AI 에이전트 OneSearch-VL을 발표했다. 시각적 위치 파악, 외부 검색, 사실 종합이라는 공통 워크플로우를 따르지만, 단일 이미지·다중 이미지·동영상마다 다른 시각 연산이 필요한 문제를 해결한다. 핵심은 시각적으로 위치를 파악한 근거 그래프(VGEG)로, 시각 앵커·개체 관계·출처 기반 사실·연산 작업 간의 의존성을 인코딩해 데이터 구성·과정 감시·연산 평가에 공통으로 쓸 수 있게 했다. 전체 요약 7문장 읽기 → 012 18:30 ▲ 26 · 댓글 2 코딩 AI가 게임을 만들 수 있을까? AI 에이전트의 게임 개발 능력을 평가하는 벤치마크 SWE-Game을 공개했다. AI · 머신러닝 · SWE-Game: Can Coding Agents Build the Games We Want?
Key Point 현재 AI 에이전트들이 실제 게임 개발이라는 복잡한 소프트웨어 엔지니어링 작업에서 어느 수준에 도달했는지 구체적인 성능 데이터로 보여줍니다.
핵심 요약
AI 에이전트의 게임 개발 능력을 평가하는 벤치마크 SWE-Game을 공개했다. 2D·3D 게임 13개 카테고리에서 41개의 실행 가능한 Godot 레퍼런스 게임으로부터 247개 과제를 구성했다. 과제는 간단한 설명으로부터 구현, 게임 디자인 문서 기반 개발, 기본 구조 완성, 83개의 결함 수정, Godot-to-Unity 포팅 등 5가지 유형을 포함한다. 전체 요약 8문장 읽기 → 013 03:11 ▲ 19 · 댓글 2 루브릭 기반 강화학습의 보상 문제 해결하는 MetaRubric 루브릭 기반 강화학습은 개별 응답 요구사항에 부분 점수를 할당해 개방형 과제를 최적화하지만, 루브릭 판정자가 필수 정보나 행동이 없어도 높은 점수를 주는 '공허한 신용(Vacuous Credit)' 문제가 발생한다. AI · 머신러닝 · MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
Key Point AI 모델의 보상 신호 설계 방식에 근본적인 문제점을 지적하고 의료·과학 분야 QA 성능을 20% 이상 끌어올린 접근법으로, 강화학습 기반 모델 개발에 실질적인 개선 방법을 제시한다.
핵심 요약
루브릭 기반 강화학습은 개별 응답 요구사항에 부분 점수를 할당해 개방형 과제를 최적화하지만, 루브릭 판정자가 필수 정보나 행동이 없어도 높은 점수를 주는 '공허한 신용(Vacuous Credit)' 문제가 발생한다. 이 문제는 필수 정보가 제거된 후에도 지속되며 응답의 GRPO 우위 부호를 역전시킬 수 있다. MetaRubric은 증거 인식 정책 최적화와 응답 기반 루브릭 적응을 교대로 수행하는 방식으로 이를 해결한다. 전체 요약 8문장 읽기 → 014 15:11 ▲ 51 · 댓글 2 법률 AI 평가 프레임워크 'LexReward' 공개 법률 언어모델의 응답 품질을 평가하기 위해 기존의 단순한 판단 방식으로는 법률 분야의 복잡한 요구사항을 충분히 반영할 수 없다는 문제에서 출발한 연구다. AI · 머신러닝 · LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models
Key Point 법률 분야 AI 시스템의 성능을 정밀하게 평가하고 최적화할 수 있는 방법론이 제시되어, 법률 특화 언어모델의 개발 품질을 크게 높일 수 있다.
핵심 요약
법률 언어모델의 응답 품질을 평가하기 위해 기존의 단순한 판단 방식으로는 법률 분야의 복잡한 요구사항을 충분히 반영할 수 없다는 문제에서 출발한 연구다. LexReward는 법률 응답의 품질을 세 차원으로 평가한다: 어휘·문법적 품질을 보는 Style, 법적 주체·사실·법령·판례를 평가하는 Element, 법률 추론의 순서·완성도·정확성·중복 제거를 보는 Chain. 각 차원마다 평가 기준과 품질 수준을 명시한 루브릭(채점 기준표)을 개발했으며, 이를 바탕으로 DPO(Direct Preference Optimization) 훈련과 보상 모델 학습용 쌍 비교 데이터를 구성했다. 전체 요약 6문장 읽기 → 015 06:11 ▲ 13 · 댓글 2 문항반응이론으로 루브릭 보상 설계 언어 작업은 자동 검증이 어려워 여러 기준으로 평가하는 루브릭을 사용하는데, 기존 방식은 기준별 점수를 단순합산한다. AI · 머신러닝 · Rubric Rewards from Item Response Theory
Key Point 강화학습에서 복합적인 평가 기준을 다룰 때 더 효율적이고 차별화된 보상 신호를 만드는 새로운 이론 및 실제 방법론을 제시한다.
핵심 요약
언어 작업은 자동 검증이 어려워 여러 기준으로 평가하는 루브릭을 사용하는데, 기존 방식은 기준별 점수를 단순합산한다. 단순합산은 다른 평가 패턴이 같은 보상을 받고, 각 기준의 중요도를 고정값으로 인코딩해 판별력을 반영하지 못한다. 강화학습에서 평가 기준이 증가하면 판정자 요청이 선형으로 늘어나는 한계도 있다. 전체 요약 11문장 읽기 → 016 00:11 ▲ 11 · 댓글 1 과학 이미지 생성의 정확성을 검증하는 AI 모델 개발 회로도, 기하학 그림, 함수 그래프 같은 과학 이미지 생성의 정확성을 자동으로 검증하는 것이 중요한 과제다. AI · 머신러닝 · SciGen-Verifier: A Multimodal Reasoner for Explainable Verification in Scientific Image Generation
Key Point 학생이 제출한 과학 이미지 문제 풀이를 자동으로 검증하고 구체적인 오류 수정 지시를 제공할 수 있어 교육용 AI 시스템의 실용성이 크게 높아진다.
핵심 요약
회로도, 기하학 그림, 함수 그래프 같은 과학 이미지 생성의 정확성을 자동으로 검증하는 것이 중요한 과제다. 기존 검증 모델들은 자연 이미지에 최적화되어 있고 판정을 점수 하나로 압축하는 식이라 과학 분야의 복잡한 오류를 설명하거나 수정하기 어렵다. 연구진은 SciGen-Verify라는 벤치마크를 구축했는데, 지시 따르기·다학제 추론·상식 등을 포함하고 3단계 판정 체계(이진 판정, 설명, 수정 지시)를 갖추고 있다. 전체 요약 7문장 읽기 → 017 22:26 ▲ 13 · 댓글 2 로봇 시각-언어 모델의 안전성 강화, HJ 도달가능성 기반 셰일드VLA 제안 로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. AI · 머신러닝 · ShieldVLA: Feasibility-Aware Safety Alignment for Vision-Language-Action Models
Key Point 로봇 AI 모델의 안전성은 실제 배포 시 가장 중요한 과제이며, ShieldVLA는 기존 트레이드오프 방식을 근본적으로 개선하는 새로운 접근법을 제시한다.
핵심 요약
로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. 현재 방식은 라그랑주 최적화로 누적 비용에 소프트 페널티를 부과하는데, 이는 제약 위반이나 과도하게 보수적 행동을 초래하고 시각 도메인에서 단계별 안전 레이블이 없어 학습이 어렵다. Hamilton-Jacobi(HJ) 도달가능성에 기반한 ShieldVLA를 제안하며, 시각 관찰로부터 HJ 도달가능성 가치함수를 모델-프리 방식으로 근사하여 안전 작동 영역을 추정한다. 전체 요약 6문장 읽기 → 
