쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
88건 · "미세조정"조건 지우기 ×
001 15:11 ▲ 14 · 댓글 1 에이전트 학습용 대규모 전문직 작업 데이터셋 자동 생성 전문가 에이전트를 지도학습으로 훈련하려면 신뢰할 수 있는 전문직 작업의 시연 데이터가 필요하지만, 작업 정보의 불완전성이 학습을 방해한다. AI · 머신러닝 · WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training
Key Point 대규모 전문직 에이전트 학습 데이터를 자동으로 생성하는 새로운 방법론과 112K+ 규모의 실제 데이터셋, 그리고 검증된 모델을 제시하므로 에이전트 기반 자동화 시스템 개발자들이 참고할 실질적 자산이다.
핵심 요약
전문가 에이전트를 지도학습으로 훈련하려면 신뢰할 수 있는 전문직 작업의 시연 데이터가 필요하지만, 작업 정보의 불완전성이 학습을 방해한다. WorkFactory는 전문직 의도(intent)로부터 실행 가능한 작업을 자동으로 구성하는 프레임워크로, 정보 수준의 계획 단계에서 의존성과 정보 위치를 명시적으로 그래프화한다. 프로브 실행(probe execution) 단계에서 정보 지원의 실패를 감지하고 원래 의도는 유지하면서 작업을 수리한다. 전체 요약 8문장 읽기 → 002 18:11 ▲ 21 · 댓글 2 로봇 모델 평가, 비용 없이 미리 걸러낸다 로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. AI · 머신러닝 · Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success
Key Point 로봇 모델을 평가하는 데 드는 비용과 시간을 대폭 줄일 수 있는 방법이 제시되어, 로봇 AI 개발 파이프라인의 효율성이 크게 바뀔 수 있다.
핵심 요약
로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. 플라토닉 표현 가설(PRH)은 모델 능력이 높아질수록 비전·언어처럼 모달리티들이 현실의 같은 통계 모델로 수렴한다고 본다. 연구진은 움직임 궤적도 이런 모달리티인지 묻고, 감각 표현이 물리 운동의 구조와 얼마나 잘 맞는지 측정하는 S²(Sensorimotor Alignment) 지표를 만들었다. 전체 요약 8문장 읽기 → 003 09:11 ▲ 106 · 댓글 17 엔비디아, 40개 언어 지원하는 오픈 음성인식 모델 공개 엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다. AI · 머신러닝 · Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
Key Point 음성-텍스트 변환이 대규모 언어모델의 다음 병목이 되는 시점에 40개 언어를 지원하고 프롬프트·미세조정으로 도메인 적응이 가능한 오픈 모델이 공개됨에 따라, 음성 애플리케이션 개발 환경이 크게 바뀐다.
핵심 요약
엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다. 최대 1시간 길이 음성을 처리하고 최대 8명의 화자를 레이블링하며, 자연어 프롬프트로 출력을 제어할 수 있어 의료 받아쓰기·다국어 회의 등 도메인별 요구에 맞춘 결과를 얻을 수 있다. Hugging Face 오픈 ASR 리더보드 영어 부문에서 5.33% 평균 WER로 오픈 가중치 모델 중 1위, Artificial Analysis 레더보드에서 약 4B 활성 매개변수로 2.8% AA-WER을 달성해 파레토 경계에 위치한다. 전체 요약 12문장 읽기 → 004 15:11 ▲ 14 · 댓글 2 로봇 조작 성공 판정하는 오픈 비전-언어 모델 RoboJev 공개 로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다. AI · 머신러닝 · RoboJev: An Open Vision-Language Judge for Robot Success Detection
Key Point 로봇 조작의 성공 판정을 자동화하는 오픈 모델으로, 다양한 로봇 환경에 일반화되며 비용 효율적인 추론 속도를 제공해 로보틱스 연구와 실무에 즉시 활용 가능하다.
핵심 요약
로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다. 작업 지시, 조작 시도의 10개 프레임, 그리고 보조 카메라 최종 프레임을 입력받아 작업 완료 여부를 예측한다. JEV-27B-VL을 기반으로 52,598개 에피소드 기록으로 학습했으며, 언어 모델만 rank-32 LoRA 어댑터로 미세조정하고 비전 인코더는 고정했다. 전체 요약 9문장 읽기 → 005 21:11 ▲ 43 · 댓글 2 장편 비디오도 정확히 3D 복원하는 계층 포즈 그래프 딥러닝 모델로 짧은 비디오에서 카메라 움직임과 3D 기하를 정확히 추정할 수 있지만, 수천 개 프레임의 긴 영상은 계산량과 메모리 문제로 겹치는 청크(chunk) 단위로 나눠 처리해야 한다. AI · 머신러닝 · HiP3R: Hierarchical Pose Graphs for Long-Horizon 3D Reconstruction
Key Point 긴 비디오의 3D 복원에서 지역 최적화와 전역 일관성 사이의 근본적 트레이드오프를 계층 구조로 해결한 방법으로, 자율주행·로봇·공간 매핑 등 실제 응용에서 필요한 기술이다.
핵심 요약
딥러닝 모델로 짧은 비디오에서 카메라 움직임과 3D 기하를 정확히 추정할 수 있지만, 수천 개 프레임의 긴 영상은 계산량과 메모리 문제로 겹치는 청크(chunk) 단위로 나눠 처리해야 한다. 이 방식은 각 청크마다 독립적인 3D 복원을 만들어 좌표계가 일치하지 않고 카메라 위치가 중복으로 추정되는 문제가 발생한다. 인접한 청크와 멀리 떨어진 재방문 지점에서의 제약 조건을 전파해 전역 일관성을 맞춰야 하는데, 이는 포즈 그래프 최적화로 자연스럽게 해결된다. 전체 요약 6문장 읽기 → 006 15:11 ▲ 204 · 댓글 3 AI 에이전트의 협업을 동적으로 조율하는 DynaFlow 프레임워크 다중 에이전트 시스템이 고정된 협업 구조에 의존하면서 작업 요구에 적응하기 어려운 문제를 해결하기 위해 DynaFlow를 제안한다. AI · 머신러닝 · DynaFlow: Learning Free-Form Multi-Agent Orchestration
Key Point 고정된 협업 구조를 벗어나 AI 에이전트가 각 작업에 맞춰 동적으로 다른 에이전트들을 조율하는 방식이 실질적으로 작동하고, 같은 모델 기반으로도 크게 성능을 높일 수 있음을 보여준다.
핵심 요약
다중 에이전트 시스템이 고정된 협업 구조에 의존하면서 작업 요구에 적응하기 어려운 문제를 해결하기 위해 DynaFlow를 제안한다. 주 에이전트가 협업 필요 여부를 판단하고 태스크별 프로그램을 생성해 서브 에이전트들을 순차·병렬 실행, 정보 교환, 검증으로 조율한다. 실행 결과와 추적 정보가 다음 행동에 반영되어 추론 진행 과정에서 협업을 적응적으로 조정한다. 전체 요약 8문장 읽기 → 007 15:11 ▲ 35 · 댓글 2 통일된 설계 원칙으로 텍스트-이미지 프롬프트 자동 개선 사용자의 불충분한 텍스트 요청을 시각적으로 완성된 프롬프트로 변환하는 Qwen-Image-PE를 발표했다. AI · 머신러닝 · Qwen-Image-PE: Learning Visual Design for Text-to-Image Prompt Enhancement
Key Point 프롬프트 개선이 더 이상 일반적 의미 전달에만 중점을 두지 않고, 조명·구도·미학 같은 시각 설계 원칙을 구체적으로 학습하게 되면서 텍스트-이미지 생성의 품질 천장이 크게 올라간다.
핵심 요약
사용자의 불충분한 텍스트 요청을 시각적으로 완성된 프롬프트로 변환하는 Qwen-Image-PE를 발표했다. 감독된 미세조정과 강화학습 2단계 훈련으로 조명, 구도, 레이아웃, 디테일 등 세부 설계 요소를 학습한다. Caption-Based Reverse Distillation(CRD)은 잘 디자인된 이미지의 밀집 캡션을 설계 지도신호로 사용하고, Groupwise Design Reward(GDR)는 동일 요청의 모든 후보 이미지를 비교해 개선한다. 전체 요약 8문장 읽기 → 008 06:11 ▲ 295 · 댓글 147 10년 된 CNN이 최신 LLM을 이기다, 피부암 진단 2015년 구글이 발표한 Inception v3 CNN을 피부과 이미지로 20분 정도 미세조정한 모델이 GPT-6 Astra와 Claude Fable 5.1 두 최신 LLM을 피부암 진단에서 압도했다. AI · 머신러닝 · A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
Key Point 이 글은 대규모 언어모델의 의료 진단 능력이 특화된 구형 모델에 미치지 못한다는 구체적인 임상 증거를 보여주며, LLM이 모든 분야에서 기존 방식을 대체할 수 없음을 시사한다.
핵심 요약
2015년 구글이 발표한 Inception v3 CNN을 피부과 이미지로 20분 정도 미세조정한 모델이 GPT-6 Astra와 Claude Fable 5.1 두 최신 LLM을 피부암 진단에서 압도했다. 임상 사진과 피부경 이미지를 포함한 조직검사로 확진된 200개 병변 테스트에서 CNN은 125개(62%)를 올바르게 진단했지만 두 LLM은 각각 84개와 85개(42%)만 정확했다. 테스트 병변은 MILK10k 공개 데이터셋에서 무작위 선정했으며, 진단 불가능 범주 100개(흑색종 30, 기저세포암 25, 편평세포암 25, 광선각화증 20)와 안전 범주 100개(양성모반 50, 지루각화증 50)로 구성됐다. 전체 요약 12문장 읽기 → 009 18:11 ▲ 11 · 댓글 1 자율주행 카메라 영상으로 3D 인식·재구성 일괄 처리 Foundation4D Foundation4D는 다중 카메라 주행 영상으로부터 깊이 추정, 3D 객체 감지, 의미론적 점유격자(occupancy), 가우시안 재구성을 모두 수행하는 통합 신경망 모델이다. AI · 머신러닝 · Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles
Key Point 자율주행 단일 모델로 깊이·객체감지·공간점유까지 동시에 처리하고 이를 장면 재구성까지 연결하는 통합 파이프라인이 등장했으며, 라이다 없이도 상용 벤치마크에서 경쟁 방식을 앞도는 성능을 보였다.
핵심 요약
Foundation4D는 다중 카메라 주행 영상으로부터 깊이 추정, 3D 객체 감지, 의미론적 점유격자(occupancy), 가우시안 재구성을 모두 수행하는 통합 신경망 모델이다. 공유 백본은 인수분해 시공간 어텐션(factorized spatiotemporal attention)으로 여러 카메라의 관측값과 시간 정보를 효율적으로 결합한다. 비디오 추론 파이프라인은 포즈 그래프 최적화로 카메라 궤적을 개선하고 입력 윈도우 전체에서 객체 추적을 조합한다. 전체 요약 7문장 읽기 → 010 12:11 ▲ 14 · 댓글 3 추론 모델의 '대기' 토큰, RL이 아닌 학습 데이터에서 온다 추론 모델이 단계를 재검토하기 전에 {wait} 토큰을 쓰는 것이 강화학습(RL)의 성과로 여겨져 왔으나, RL이 이 현상을 만든 것이 아니라 학습 데이터에서 상속받은 것일 수 있다는 가설을 검증했다. AI · 머신러닝 · Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
Key Point 추론 모델의 향상이 실제로 RL의 효과인지 아니면 데이터 상속인지 구분해야 할 핵심 연구로, 모델 평가 방식과 RL 기술 검증의 신뢰성을 근본적으로 재검토하게 한다.
핵심 요약
추론 모델이 단계를 재검토하기 전에 {wait} 토큰을 쓰는 것이 강화학습(RL)의 성과로 여겨져 왔으나, RL이 이 현상을 만든 것이 아니라 학습 데이터에서 상속받은 것일 수 있다는 가설을 검증했다. 공개 모델의 학습 이력을 추적하며 빈도, 위치, 형태, 사용 방식을 라벨 없이 지수화하고 주입 오류 테스트로 {wait} 토큰의 출처를 분석했다. RL을 적용하지 않은 초기 모델(zero-RL)은 {wait} 토큰을 거의 생성하지 않으며, {wait}이 없는 기반 모델에 RL을 적용해도 MATH-500 정확도는 크게 올라가지만 {wait} 토큰 사용은 거의 증가하지 않는다. 전체 요약 7문장 읽기 → 011 06:11 ▲ 106 · 댓글 57 Dream-1, 미세조정 없이 새 로봇 제어하는 범용 로봇 정책 공개 Dream Labs가 $90M 시드펀딩으로 설립을 발표하며 World Action Model 기반의 범용 로봇 정책 Dream-1을 공개 API로 제공한다. AI · 머신러닝 · Dream-1
Key Point 기존 로봇은 각 기종마다 별도 데이터와 미세조정이 필요했지만, Dream-1은 처음 보는 로봇을 즉시 제어할 수 있어 로봇 개발자와 스타트업의 진입장벽을 크게 낮춘다.
핵심 요약
Dream Labs가 $90M 시드펀딩으로 설립을 발표하며 World Action Model 기반의 범용 로봇 정책 Dream-1을 공개 API로 제공한다. Dream-1은 이전에 본 적 없는 로봇, 작업, 환경에서 제로샷 일반화가 가능하며, 미세조정이나 로봇별 데이터 수집 없이도 작동한다. 로봇팔 비용이 $2k까지 하락하고 하양이 $399짜리 마이크로덕 4일간 1만 대 이상 판매되면서 대중용 로봇 시장이 성장 중이다. 전체 요약 13문장 읽기 → 012 21:11 ▲ 13 · 댓글 2 로봇 조작용 기초 모델 ACE-Brain-0.6 공개 일반 목적 멀티모달 모델들이 구현된 로봇 조작에서 우수한 성능을 보이는 이유는 강한 공간 지각 능력 때문으로, 시각적 방해물 속에서 작업 관련 물체와의 상호작용 위치를 정확히 파악한다. AI · 머신러닝 · ACE-Brain-0.6: Scaling Spatial Grounding for Physical Foundation Models
Key Point 로봇 작업용 오픈 모델이 상용 대형 모델과 경쟁할 수 있는 수준에 도달했으며, 그라운딩 데이터 확장이 구현화 AI의 성능을 개선하는 핵심 경로임을 실증했다.
핵심 요약
일반 목적 멀티모달 모델들이 구현된 로봇 조작에서 우수한 성능을 보이는 이유는 강한 공간 지각 능력 때문으로, 시각적 방해물 속에서 작업 관련 물체와의 상호작용 위치를 정확히 파악한다. 공간 지각은 고수준 추론을 물리 장면에 연결하는 역할을 하므로, 연구진은 시각 그라운딩을 확장하여 구현화된 조작의 지각적 기반을 강화하는 방법을 조사했다. 로봇 조작 기록과 다양한 출처의 보충 시각 데이터를 결합하는 통합 데이터 파이프라인을 개발했으며, 로봇 기록을 자동으로 주석 처리한 후 검증 가능한 그라운딩 지도학습으로 변환했다. 전체 요약 7문장 읽기 → 013 12:11 ▲ 42 · 댓글 2 로봇 플래너도 포스트트레이닝으로 강화된다 로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. AI · 머신러닝 · AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
Key Point 작은 오픈소스 로봇 모델도 정교한 포스트트레이닝으로 폐쇄형 거대모델 수준의 성능을 낼 수 있다는 점이 로봇 개발자와 AI 연구자들에게 실질적인 의미를 갖는다.
핵심 요약
로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. 기존 로봇 제어 시스템은 강력한 폐쇄형 모델(GPT 같은)에 의존했지만, 모델 자체를 개선하지는 않았다. 코딩 에이전트 분야에서 포스트트레이닝이 성공한 점에 착안해 로봇 플래너에도 같은 접근을 시도했다. 전체 요약 8문장 읽기 → 014 12:11 ▲ 10 · 댓글 2 코딩 에이전트가 실패를 미리 감지하고 중단하는 StopLoss 코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다. AI · 머신러닝 · StopLoss: Teaching Agents to Predict Failure and Stop Early
Key Point 코딩 에이전트의 실패 예측을 저비용으로 수행함으로써 계산 자원 낭비를 크게 줄일 수 있는 실용적 방법이 증명되었기 때문입니다.
핵심 요약
코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다. StopLoss는 완료된 궤적(trajectory)과 검증자 결과로부터 실패를 인식하도록 학습한 소규모 외부 모니터이다. 미세조정된 언어모델이 최근 도구 단계들을 한 번의 포워드 패스로 점수화하고, 성공 런에서 보정된 임계값이 중단 결정을 내린다. 전체 요약 8문장 읽기 → 015 15:11 ▲ 115 · 댓글 3 작은 모델도 큰 모델 따라잡는다, '뇌-몸' 맞춤 진화 자동으로 개선되는 AI 에이전트(RSI)에서는 모델의 역량과 실행 환경(harness)이 함께 진화할 때 불일치 문제가 발생한다. AI · 머신러닝 · CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow?
Key Point 작은 모델이 큰 모델을 이기는 핵심이 '역량과 실행 환경의 정렬'이라는 새로운 관점을 제시하며, 자원 제약이 있는 팀도 효율적인 에이전트를 만들 수 있는 길을 열어준다.
핵심 요약
자동으로 개선되는 AI 에이전트(RSI)에서는 모델의 역량과 실행 환경(harness)이 함께 진화할 때 불일치 문제가 발생한다. 진화 중인 harness가 모델이 학습하지 못한 행동을 요구하거나 기존 능력을 제한하는 '뇌-몸 불일치'를 해결하기 위해 CoEvo-RSI 프레임워크를 제시했다. 메타 에이전트가 과거 설계 아카이브에서 harness를 선택하고, 최적의 모델 체크포인트를 선택하거나 병합한 후 그에 맞춰 적응시킨다. 전체 요약 6문장 읽기 → 016 12:11 ▲ 11 · 댓글 2 자기 재귀로 멀티토큰 예측 효율화한 ECHO 논문 기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. AI · 머신러닝 · ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
Key Point 자동회귀 언어 모델의 학습과 추론 효율성을 동시에 높이는 핵심 알고리즘 개선으로, 기존 멀티토큰 예측의 구조적 문제를 근본적으로 해결한다.
핵심 요약
기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. ECHO는 백본의 최종 레이어 자체가 모든 예측 스텝을 담당하므로 감독 신호가 다음 토큰을 생성하는 매개변수에 직접 전달된다. 깊은 스텝의 학습 비용을 낮추기 위해 동적 깊이 샘플링(DDS)을 도입해 깊이에 따라 확률을 감쇠시킨다. 전체 요약 6문장 읽기 → 017 00:11 ▲ 11 · 댓글 2 산업용 로봇 조작 평가 벤치마크 'LIBERO-Industry' 공개 LIBERO 벤치마크를 기반으로 제조업의 실제 제약 조건을 반영한 새로운 로봇 평가 프레임워크 LIBERO-Industry를 개발했다. 하드웨어 · 시스템 · LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints
Key Point 실제 제조 환경의 복잡한 제약을 반영한 평가 지표가 없어 범용 로봇 정책의 산업 적용 가능성을 정확히 측정할 수 없었는데, 이제 체계적인 벤치마크로 검증할 수 있게 됐다.
핵심 요약
LIBERO 벤치마크를 기반으로 제조업의 실제 제약 조건을 반영한 새로운 로봇 평가 프레임워크 LIBERO-Industry를 개발했다. 유연 제조(고혼합·소량 생산) 환경에서 로봇이 대응해야 하는 제품 변종, 이동 재료 흐름, 제한된 작업 시간, 기하학적 공차 같은 산업용 제약을 반영했다. 3가지 작업 시나리오(정적→동적 로딩, 동적→정적 언로딩, 동적→동적 전달)로 구성되며 총 216개 태스크를 포함한다. 전체 요약 7문장 읽기 → 018 21:11 ▲ 16 · 댓글 2 짧은 영상으로 장시간 예측하는 세계 모델 훈련법 스트리밍 비디오 세계 모델은 행동 조건에 따라 미래를 청크 단위로 생성하는데, 짧은 클립으로만 훈련되면 시간이 지날수록 예측 오차가 누적되어 표류한다. AI · 머신러닝 · Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips
Key Point 짧은 영상만으로 학습한 생성 모델이 장기간 예측에서 표류하는 근본적 문제를 해결하는 새로운 훈련 방식으로, 비용 높은 교사 모델 없이도 안정적인 장시간 롤아웃을 만들 수 있다.
핵심 요약
스트리밍 비디오 세계 모델은 행동 조건에 따라 미래를 청크 단위로 생성하는데, 짧은 클립으로만 훈련되면 시간이 지날수록 예측 오차가 누적되어 표류한다. 기존 방식은 분포 일치 증류(DMD)로 모델 자신의 예측을 다시 훈련하지만, 외부 교사는 행동을 모르고 내부 교사도 같은 문제로 고통받는다. 프레셰 거리(Fréchet Distance)를 활용한 프레셰 포싱(Fréchet Forcing) 기법을 제안한다: 생성적 앵커링은 실제 데이터로 끝나는 자체 생성 이력에 플로우 매칭 손실을 적용하고, 문맥 충실도는 각 클립의 자유 롤아웃 통계와 실제 통계 간 거리를 계산해 장면 일관성을 유지하며, 현실성 일치는 고정된 지각 공간에서 생성 프레임과 실제 프레임 간 거리를 측정한다. 전체 요약 5문장 읽기 → 019 15:11 ▲ 235 · 댓글 3 뇌 신경 신호 예측, 104B 대규모 모델로 풀다 뇌 인코딩 모델은 자극에 대한 신경 반응을 예측하는데, 기존엔 동결된 사전학습 모델의 출력층만 학습했으나 신경 데이터가 비싸고 제한적이라 큰 모델 학습이 어려웠다. AI · 머신러닝 · Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
Key Point 매개변수 효율적 미세조정 기법으로 뇌 신경 신호 예측 분야에서 100B대 대규모 모델 활용이 처음 가능해졌고, 기존 접근법 대비 계산 효율을 획기적으로 개선했다.
핵심 요약
뇌 인코딩 모델은 자극에 대한 신경 반응을 예측하는데, 기존엔 동결된 사전학습 모델의 출력층만 학습했으나 신경 데이터가 비싸고 제한적이라 큰 모델 학습이 어려웠다. 연구진은 매개변수 효율적 미세조정(PEFT)을 적용해 최대 104B 파라미터 규모의 멀티모달 백본을 적응시켰으며, 이는 뇌 인코딩에 적용된 최대 규모 모델이다. 슬라이딩 윈도우 대신 백본의 인과 구조를 활용해 한 번에 여러 시점을 예측함으로써 특징 추출 비용을 획기적으로 줄였다. 전체 요약 6문장 읽기 → 020 15:11 ▲ 21 · 댓글 2 한 번에 여러 편집 지시를 따르는 이미지 편집 모델 MTEdit 공개 여러 개의 편집 지시를 순서대로 받아 하나의 이미지를 단계별로 수정하는 다중 턴 이미지 편집 기술을 연구했다. AI · 머신러닝 · MTEdit: Packed Trajectories Beat Rollouts for Multi-Turn Image Editing
Key Point 한 번에 여러 편집 지시를 정확하게 따르면서도 이미지 품질 저하를 막는 기술이 필요한 실무 환경에서 활용할 수 있는 대규모 데이터셋과 평가 기준을 제시했기 때문이다.
핵심 요약
여러 개의 편집 지시를 순서대로 받아 하나의 이미지를 단계별로 수정하는 다중 턴 이미지 편집 기술을 연구했다. 기존의 순차적 방식은 각 단계마다 오류가 누적되어 이미지 품질이 떨어지는 문제가 있었다. 팩드 궤적 캔버스(PTC) 기법으로 여러 편집 상태를 하나의 시각적 맥락에서 함께 생성하면 이 문제를 줄일 수 있음을 발견했다. 전체 요약 6문장 읽기 → 021 15:11 ▲ 111 · 댓글 2 로봇 집단의 경험을 공유해 정책 학습 향상 로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. AI · 머신러닝 · Learning from Fleet Experience: A Collective Learning Paradigm for Robots
Key Point 로봇 집단 학습이 전문가 개입 없이 배치된 환경에서 정책을 개선하는 실질적 방법을 제시하며, 규모가 커질수록 성능이 향상되는 스케일러빌리티를 보여준다.
핵심 요약
로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. 연구팀은 집단 경험 학습(CEL) 패러다임을 제안했으며, 배치된 로봇들이 실행 경험을 공유해 공통 정책을 개선한다. 실패 안내 경험 검색 미세조정(FERT)이라는 구체적 방식으로, 로봇 실행 중 발생한 실패 상황을 바탕으로 집단의 성공 경험에서 관련 궤적을 검색해 그 행동을 감독 신호로 정책을 업데이트한다. 전체 요약 8문장 읽기 → 022 15:11 ▲ 84 · 댓글 2 언어 명령에 따라 장면을 탐색하는 로봇, 인터넷 영상으로 학습시키다 언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다. AI · 머신러닝 · ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
Key Point 시뮬레이션 데이터의 현실성 문제를 극복하면서도 현실 데이터 수집 비용을 줄이는 새로운 접근법으로, 로봇 네비게이션의 실용성을 높일 수 있는 기술이기 때문이다.
핵심 요약
언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다. 기존 방식은 로봇 실제 데이터 수집이 비싸고 시뮬레이션 데이터는 현실 적응 격차(sim-to-real gap)가 있는 문제가 있었다. ScaleNav는 인터넷의 1인칭 관점 영상에서 학습하여 카메라가 목표에 접근할 때 시각 정보가 어떻게 변하는지 파악한다. 전체 요약 6문장 읽기 → 023 18:11 ▲ 17 · 댓글 2 AI 에이전트의 조직 시뮬레이션으로 실무 역량 향상 AI 에이전트가 전문 작업을 처리할 때 문서와 소프트웨어를 활용하면서 누적된 자료, 의사결정, 피드백을 활용해야 한다는 점에서 출발한다. AI · 머신러닝 · OfficeTown: Generative Organizations for Evolving Agent Intelligence
Key Point AI 에이전트가 실무 환경에서 협력하고 책임을 나누어 작업하도록 하는 조직 시뮬레이션이 현실적 데이터 생성과 모델 성능 향상에 실제로 도움이 되는지를 규모 있게 검증한 첫 시도이기 때문이다.
핵심 요약
AI 에이전트가 전문 작업을 처리할 때 문서와 소프트웨어를 활용하면서 누적된 자료, 의사결정, 피드백을 활용해야 한다는 점에서 출발한다. OfficeTown은 전문 조직의 생성형 시뮬레이션 프레임워크로, 자연어로 조직의 목적과 활동을 설명하면 구성원이 작업을 조정하고 보조 에이전트에게 과제를 위임하며 결과를 검토하는 조직을 초기화한다. 생성된 산출물, 의사결정, 미해결 사항은 지속되어 이후 작업에 영향을 미치며, 각 구성원의 권한과 책임이 접근 가능한 정보와 수행 범위를 결정한다. 전체 요약 7문장 읽기 → 024 15:11 ▲ 164 · 댓글 2 비전-언어 모델이 3D 공간을 직접 탐색하며 추론하는 방법 시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다. AI · 머신러닝 · Learning to Think and Explore in 3D World
Key Point 3D 환경에서 능동적으로 탐색해야만 답할 수 있는 문제에서 기존 상용 모델을 능가하는 오픈소스 모델 사례를 제시하며, VLM의 추론 능력을 확장하는 새로운 학습 패러다임을 보여줍니다.
핵심 요약
시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다. 초기 질문과 첫 번째 관점에서 시작한 뒤, 모델이 반복적으로 추론하고 이동·회전 같은 행동을 통해 시점을 변경하며 최종 답변을 제출하는 방식입니다. 궤적 감독 미세조정 후 강화학습(RL)을 적용했으며, 보상은 최종 답변 정확도로만 주어져서 모델이 어떤 시점을 방문할지는 스스로 학습합니다. 전체 요약 8문장 읽기 → 025 00:10 ▲ 310 · 댓글 121 DeepSeek, V4.1-Flash-1017로 추론·코딩 성능 대폭 개선 DeepSeek-V4.1-Flash-1017은 DeepSeek-V4.1-Flash의 마이너 업데이트로, 추론·코딩·에이전트 작업·시각 벤치마크에서 상당한 성능 개선을 제공한다. AI · 머신러닝 · DeepSeek-v4.1-Flash-1017
Key Point LLM의 성능과 효율성이 함께 개선되는 것이 드문데, 추론·코딩 벤치마크에서 동시에 개선되면서 낮은 비용으로 더 복잡한 작업을 처리할 수 있게 됐다.
핵심 요약
DeepSeek-V4.1-Flash-1017은 DeepSeek-V4.1-Flash의 마이너 업데이트로, 추론·코딩·에이전트 작업·시각 벤치마크에서 상당한 성능 개선을 제공한다. 작업 실행 시간과 출력 길이를 단축해 더 빠르고 낮은 비용으로 작업을 완료할 수 있으며, 여러 에이전트 테스트에서 성능-비용 파레토 한계를 앞당겼다. 벤치마크에서 HLE는 42.6점(기존 36.8점), Terminal-Bench 4.0은 42.3점(기존 31.2점), DeepSWE v1.1은 77.0점(기존 74.2점)을 기록했다. 전체 요약 9문장 읽기 → 026 09:11 ▲ 10 · 댓글 2 로봇 비전-언어 모델에 사용자 맞춤과 안전 기능을 더하다 현재의 일반용 VLA(Vision-Language-Action) 모델은 다양한 로봇 조작을 가능하게 하지만, 실제 로봇 지원에 필요한 사용자 맞춤화와 신뢰성 있는 실행 능력이 부족하다. AI · 머신러닝 · CarryOn: A Dual-Loop Harness for Personalized and Reliable Robot Assistance
Key Point 실제 로봇 지원의 핵심인 사용자 맞춤화와 안전성 문제를 해결하는 구체적 방법론을 제시하며, 위반율 8.6배 감소, 복구 성공률 6배 증가라는 검증 가능한 결과를 보여준다.
핵심 요약
현재의 일반용 VLA(Vision-Language-Action) 모델은 다양한 로봇 조작을 가능하게 하지만, 실제 로봇 지원에 필요한 사용자 맞춤화와 신뢰성 있는 실행 능력이 부족하다. CarryOn은 기존 VLA 정책을 보강하는 이중 루프 시스템으로, 사용자 선호도와 장면 맥락을 유지하면서 상호작용을 통해 지속적으로 업데이트하는 '계획 루프'를 갖춘다. 계획 루프는 사용자의 지속적인 선호도를 반영하여 맞춤형 부분 작업을 선택하고, 대화와 변화하는 장면 속에서 실행을 조율한다. 전체 요약 7문장 읽기 → 027 03:11 ▲ 11 · 댓글 2 선형 시간 희소 어텐션으로 컨텍스트 길이 확장하기 선형 시간 시퀀스 모델들은 고정된 크기의 상태에 정보를 저장하기 때문에 장문맥 처리에 제약이 있고, 전체 어텐션을 추가하면 이차 비용이 발생한다. AI · 머신러닝 · FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation
Key Point 트랜스포머의 근본적 한계인 이차 복잡도 문제를 해결하면서도 학습 데이터보다 긴 입력에서도 작동하는 새로운 어텐션 메커니즘의 제안으로, LLM의 컨텍스트 길이 확장이 시급한 현실에서 실질적 개선을 제시한다.
핵심 요약
선형 시간 시퀀스 모델들은 고정된 크기의 상태에 정보를 저장하기 때문에 장문맥 처리에 제약이 있고, 전체 어텐션을 추가하면 이차 비용이 발생한다. 지속적 사전학습(CPT)을 통한 희소 어텐션은 컨텍스트 길이를 늘릴 수 있지만 학습된 길이를 넘어 일반화하기 어렵고 비용이 크다. FreeSolo는 단거리 슬라이딩 윈도우 분기와 키포인트 셀을 선택하는 장거리 분기로 구성된 네이티브 희소 어텐션 메커니즘이다. 전체 요약 6문장 읽기 → 028 18:11 ▲ 37 · 댓글 4 LLM 에이전트, 학습 데이터를 자동으로 개선하는 시스템 언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다. AI · 머신러닝 · AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
Key Point 자동화된 데이터 개선이 단일 기능 강화가 아니라 다각적 접근에 달려 있다는 점을 보여주며, 실제 개선 수치(IFEval +6.5~+9.9)로 멀티에이전트 방식의 실질적 효과를 입증한다.
핵심 요약
언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다. 연구팀은 인간 데이터 엔지니어처럼 비율 조정, 가지치기, 수리, 교체, 합성 등 다양한 데이터 조작 기능을 수행할 수 있는 에이전트 시스템을 설계했다. 단일 에이전트 방식은 비율 조정 하나의 행동만 반복하며 컨텍스트를 낭비해 성능이 개선되지 않았다. 전체 요약 7문장 읽기 → 029 12:11 ▲ 107 · 댓글 2 AI가 3D 코드로 가상 세계를 만드는 생태계 공개 Hugging Face 연구팀이 3DCodeVerse를 공개했다. 이는 AI 코딩 에이전트가 대규모로 3D 콘텐츠를 생성하고 편집할 수 있는 연구 생태계다. AI · 머신러닝 · 3DCodeVerse: Exploring 3D Worlds as Code
Key Point AI가 코드 기반으로 3D 콘텐츠를 자동 생성하고 검증하는 체계가 갖춰지면서, 대규모 3D 세계 창작의 자동화가 실질적으로 가능해지는 시점을 보여준다.
핵심 요약
Hugging Face 연구팀이 3DCodeVerse를 공개했다. 이는 AI 코딩 에이전트가 대규모로 3D 콘텐츠를 생성하고 편집할 수 있는 연구 생태계다. 3DCodeVerse-2M이라는 대규모 데이터셋을 구축했으며, 이는 오픈소스 3D 코드 200만 개로 이루어져 있다. 각 프로그램은 실행에 필요한 소스 파일과 에셋, 설명, 검증 기록이 함께 패키징되어 있다. 3DCodeVerse Harness라는 다중 에이전트 DAG 프레임워크를 개발했다. 이는 3D 콘텐츠를 생성하고 개선하며, 실행 검사, 공간 측정, 시각 피드백으로 인간의 개입 없이 자동 평가와 수정을 수행한다. 전체 요약 5문장 읽기 → 030 18:11 ▲ 65 · 댓글 1 문맥 정보를 모델의 영구 지식으로 만드는 방법 큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다. AI · 머신러닝 · Cortex: Consolidating Context into Parametric Memory
Key Point 문맥 정보를 임시적이 아닌 영구적 지식으로 전환하는 기술은 모델 미세조정이나 지속적 학습 환경에서 핵심적인 문제이며, 대규모 모델에서의 구체적 성능 달성(88.9% 복구율)을 보여준다.
핵심 요약
큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다. 생물학적 기억 통합 현상에서 영감을 얻어 Memory Consolidation(MC)을 제안한다: 문맥으로부터의 이득을 모델에 내재화하면서 다른 능력은 보존하는 것이다. Context-specified editing, skill learning, behavioral steering을 하나의 목표 아래 통합한다. 전체 요약 8문장 읽기 → 031 18:11 ▲ 35 · 댓글 2 완전 공개 멀티모달 모델 Apertus 1.5 출시 Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. AI · 머신러닝 · Apertus 1.5: From Open Text Models to Open Multimodal Reasoners
Key Point 공개 데이터로만 학습한 완전히 오픈소스 멀티모달 모델의 등장으로, 소수 기업 종속에서 벗어날 수 있는 대안이 실제 규모에서 가능함을 보여준다.
핵심 요약
Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. 8B 모델에 4T개, 70B 모델에 2T개 토큰을 추가 학습해 이미지와 음성 이해 능력을 추가했으며, 컨텍스트 윈도우를 262,144 토큰으로 4배 확대했다. 토크나이저를 통해 멀티모달 입력을 처리하되 언어 모델 헤드는 텍스트만 출력하고 아키텍처는 유지했다. 전체 요약 9문장 읽기 → 032 15:11 ▲ 15 · 댓글 2 로봇 기초모델, 지속학습으로 새 작업 빠르게 습득 로봇 기초모델(RFM)의 강화학습 미세조정은 데모 이상의 성능을 낼 수 있지만, 실제 배포에는 새 작업을 효율적으로 학습하면서 기존 능력을 잃지 않아야 한다. AI · 머신러닝 · ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
Key Point 로봇이 새로운 작업을 배우면서 기존 능력을 유지해야 한다는 실제 배포 문제를 오프폴리시 RL로 해결했으며, 31~68% 훈련 시간 단축으로 실용성을 입증했습니다.
핵심 요약
로봇 기초모델(RFM)의 강화학습 미세조정은 데모 이상의 성능을 낼 수 있지만, 실제 배포에는 새 작업을 효율적으로 학습하면서 기존 능력을 잃지 않아야 한다. 기존 지속학습 RL 방식은 온폴리시 업데이트로 잊음 현상을 줄이지만 전이학습이 제한적이고, 오프폴리시 방식은 단일 작업 샘플 효율은 높이지만 작업 간 지속성 문제를 해결하지 못한다. ACCRUE는 경량 액터-크리틱 네트워크를 작업 간에 보존하는 오프폴리시 RL 프레임워크로, 각 단계가 이전 RL에서 습득한 행동과 가치 지식을 재사용한다. 전체 요약 6문장 읽기 → 033 21:11 ▲ 18 · 댓글 2 Fish Audio Drama 3, 자연어 지시로 성우 같은 음성 생성 텍스트를 연기하는 형태의 음성으로 변환하는 오픈소스 모델 Fish Audio Drama 3을 공개했다. AI · 머신러닝 · Fish Audio Drama 3 Technical Report
Key Point 단일 모델로 음성 복제, 자연어 지시, 멀티턴 편집, 장면 더빙을 모두 지원하며 파라미터 대비 빠른 추론 속도를 달성한 기술적 진전이 실제 음성 생성·편집 워크플로를 어떻게 단순화할지 확인할 수 있다.
핵심 요약
텍스트를 연기하는 형태의 음성으로 변환하는 오픈소스 모델 Fish Audio Drama 3을 공개했다. 35B 파라미터 혼합 전문가 구조에 토큰당 3B 파라미터만 활성화하며, 여러 참조에서 목소리를 복제하고 자연어 지시에 따른다. 다음 턴의 피드백으로 테이크를 수정하고, 여러 캐릭터 장면에 음성을 부여하며, 기존 음성을 인필로 편집하고 장시간·스트리밍 오디오를 합성한다. 전체 요약 8문장 읽기 → 034 18:11 ▲ 14 · 댓글 1 생성 영상의 물리 법칙 위반 평가하는 PhyProbe 생성 영상이 물리 법칙을 얼마나 잘 따르는지 평가하는 문제를 해결하기 위해 PhyProbe를 제안했다. AI · 머신러닝 · PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos
Key Point AI로 만든 영상이 물리 법칙을 얼마나 잘 따르는지 정량적으로 측정할 수 있는 평가 지표가 필요한데, PhyProbe가 기존 방식의 일반화 문제를 극복한 새로운 접근법을 제시한다.
핵심 요약
생성 영상이 물리 법칙을 얼마나 잘 따르는지 평가하는 문제를 해결하기 위해 PhyProbe를 제안했다. 기존 방식은 비전-언어 모델로 물리 역학을 제대로 인식하지 못하거나, 사람 주석으로 학습한 평가기가 특정 데이터셋에 과적합되어 일반화되지 않는 문제가 있었다. PhyProbe는 사전 학습된 시공간 인코더에서 특징을 추출한 뒤 가벼운 점수 헤드로 0~1 범위의 물리 일관성 위반 점수로 매핑한다. 전체 요약 7문장 읽기 → 035 18:11 ▲ 37 · 댓글 2 동영상 검색 효율화 VEDJE, 캐시 크기 4분의 1로 줄이며 정확도 유지 비슷한 장면에서 다른 사건을 구분해야 하는 동영상 검색의 효율성을 높이는 VEDJE 방법을 제안했다. AI · 머신러닝 · VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
Key Point 동영상-텍스트 검색 실무에서 메모리와 계산 비용의 병목을 4분의 1 수준으로 줄이면서 검색 정확도는 거의 손실하지 않는 기법을 제시해, 대규모 시스템 배포 시 고려할 만한 최적화 기술을 제공한다.
핵심 요약
비슷한 장면에서 다른 사건을 구분해야 하는 동영상 검색의 효율성을 높이는 VEDJE 방법을 제안했다. 샘플링된 프레임 내에서 특성을 압축하되 표현은 재사용 가능한 캐시에 분리해서 보관함으로써 쿼리당 처리 비용을 절감한다. 특성 변화 예측이 보조 학습 신호로 작용해 쿼리 시간에 추가 계산 없이 압축된 캐시에서의 검색 성능을 향상시킨다. 전체 요약 7문장 읽기 → 036 18:11 ▲ 20 · 댓글 2 터미널 에이전트, 에러 복구로 자동 성능 향상 터미널 에이전트는 복잡한 코딩 작업에서 강한 능력을 보이지만, 실행 중 명령 오류나 잘못된 구현 같은 오류에서 회복하지 못해 결국 실패하는 문제가 있다. AI · 머신러닝 · ReTerm: Recovery Training for Self-Improving Terminal Agents
Key Point 터미널 에이전트의 에러 회복 능력이 실무 환경에서 실패율을 결정하는 핵심이며, ReTerm의 자가-개선 방식은 단순 미세조정을 넘어 실제 오류 상황에서 에이전트가 스스로 학습하고 개선되는 새로운 훈련 패러다임을 제시한다.
핵심 요약
터미널 에이전트는 복잡한 코딩 작업에서 강한 능력을 보이지만, 실행 중 명령 오류나 잘못된 구현 같은 오류에서 회복하지 못해 결국 실패하는 문제가 있다. ReTerm은 자신의 실패한 터미널 작업에서 회복하는 방법을 학습하여 스스로 개선하는 에이전트로, 훈련을 위해 맞춤형 데이터 파이프라인과 고품질의 회복 시연을 제공하는 ReTerm-10K 데이터셋을 구축했다. ReTerm-GRPO라는 온라인 강화학습 알고리즘을 제안하며, 에이전트의 실패 상태에서 여러 독립적인 자가-복구 시도를 생성하고 이들이 작업을 완료하는지 여부로 학습한다. 전체 요약 6문장 읽기 → 037 18:11 ▲ 66 · 댓글 1 흉부 X선 진단에 도구 활용한 AI 에이전트, ChestAgentBench서 최고 성능 흉부 X선(CXR) 해석은 직접 시각 인식만으로는 부족하며 외부 도구를 통한 증거 통합이 필요한데, 기존 도구 활용 의료 에이전트는 언제 보조 증거가 필요한지 학습하거나 부적절한 정량 데이터를 차단하는 명시적 메커니즘이 부족하다. AI · 머신러닝 · X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning
Key Point 의료 AI가 X선 이미지 분석 시 외부 측정 도구를 필요한 순간에만 올바르게 활용하는 방식을 개선함으로써, 의료 진단 시스템의 신뢰성과 설명 가능성을 높이는 구체적인 접근 방식을 제시합니다.
핵심 요약
흉부 X선(CXR) 해석은 직접 시각 인식만으로는 부족하며 외부 도구를 통한 증거 통합이 필요한데, 기존 도구 활용 의료 에이전트는 언제 보조 증거가 필요한지 학습하거나 부적절한 정량 데이터를 차단하는 명시적 메커니즘이 부족하다. 이를 해결하기 위해 X-Ragent라는 도구 활용 강화학습 후학습 프레임워크를 제안하며, 이는 보조 증거 수집과 타당성 검증 정량 측정 획득을 분리한다. 7.7K 샘플의 Rad-CoT 코퍼스를 구축해 인과관계 순서의 도구 활용 궤적과 보고서 양식 진단 추론을 결합했다. 전체 요약 7문장 읽기 → 038 15:11 ▲ 138 · 댓글 2 긴 작업 완수하는 AI 에이전트 학습 데이터 합성법 공개 장시간에 걸쳐 현실의 전문 업무를 완료하는 터미널 에이전트 개발에 적합한 학습 데이터가 부족한 문제를 다룬다. AI · 머신러닝 · Scaling Agentic Data for Long-Horizon Terminal Intelligence
Key Point 장시간 복잡한 작업을 자율적으로 완료해야 하는 AI 에이전트 개발 시 학습 데이터의 질과 특성이 모델 성능을 크게 좌우하기 때문에, 현실 기반의 효과적인 데이터 합성 방법론은 에이전트 연구 진행에 직결된다.
핵심 요약
장시간에 걸쳐 현실의 전문 업무를 완료하는 터미널 에이전트 개발에 적합한 학습 데이터가 부족한 문제를 다룬다. 기존 환경 합성 방식은 탐색, 구현, 검증 같은 에이전트의 핵심 활동을 미리 완료해 버려서 에이전트가 배울 수 없다는 한계가 있다. 이를 해결하기 위해 TerminalHorizon이라는 자동화된 데이터 합성 엔진을 제안하는데, 실제 전문 업무에서 시작해 독립 실행으로 빠진 작업을 파악하고 환경을 재구성한다. 전체 요약 7문장 읽기 → 039 15:11 ▲ 75 · 댓글 2 병렬 디코딩으로 시각 위치 추정을 빠르게—GroundAnything 논문 기존 자동 회귀(AR) 방식의 시각 그라운딩 모델은 위치 예측을 순차적으로 처리해서 지연 시간이 크다. AI · 머신러닝 · GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed
Key Point 시각 위치 추정(visual grounding)의 속도와 정확성 양립 문제를 해결하는 새 방법론으로, 실시간 응용이 필요한 실무 시스템에서 바로 적용 가능한 기술입니다.
핵심 요약
기존 자동 회귀(AR) 방식의 시각 그라운딩 모델은 위치 예측을 순차적으로 처리해서 지연 시간이 크다. GroundAnything은 그라운딩을 '영상에서 시각 증거 추출'로 재정의하고, 개별 객체와 위치의 공간 관계가 좌에서 우로의 생성 순서를 따를 필요 없다고 본다. 이를 위해 양방향 확산(bidirectional diffusion) 방식을 적용해 공간 가설들을 병렬로 생성하고 반복 디노이징으로 공동 정제한다. 전체 요약 8문장 읽기 → 040 15:11 ▲ 108 · 댓글 53 AI 모델이 암호화된 능력을 숨길 수 있다는 증명 능력 평가는 위험한 모델 동작을 배포 전에 발견하기 위한 것이지만, 숨겨진 능력을 끌어낼 수 있다는 가정에 의존한다. AI · 머신러닝 · AI Models Can Provably Hide Arbitrary Capabilities
Key Point 능력 평가는 위험한 AI 배포를 막기 위한 핵심 도구인데, 이 논문이 수학적으로 감시를 우회하는 기법을 보여주면서 AI 안전 검증 방식의 근본적 한계를 제기합니다.
핵심 요약
능력 평가는 위험한 모델 동작을 배포 전에 발견하기 위한 것이지만, 숨겨진 능력을 끌어낼 수 있다는 가정에 의존한다. 연구팀은 백도어 공격으로 암호화된 신경망을 모델 가중치에 삽입하고, 비밀 트리거를 받을 때만 복호화·실행하는 방식을 제시했다. 디지털 로커를 이용해 이 숨겨진 회로는 암호 이론적 가정 하에서 모델 가중치에 완전히 접근하더라도 추출·해석이 원칙적으로 어렵다. 전체 요약 7문장 읽기 → 041 06:11 ▲ 10 · 댓글 2 생명과학 LLM이 실제로 생물학 데이터를 활용하지 않는다 DNA, 단백질, 단일세포 작업을 다루는 6개의 생명과학 추론 모델을 검증한 결과, 벤치마크 성능이 높아도 실제로는 생물학적 입력을 거의 활용하지 않는 것으로 나타났다. AI · 머신러닝 · When Do Biological Reasoning Models Use Their Biological Inputs?
Key Point 생명과학 분야의 AI 모델들이 높은 벤치마크 성능을 보이고 있지만, 실제로는 생물학적 데이터를 무시하고 텍스트 정보에만 의존하는 것으로 밝혀져 이들 모델의 신뢰성과 해석 가능성에 근본적인 의문을 제기한다.
핵심 요약
DNA, 단백질, 단일세포 작업을 다루는 6개의 생명과학 추론 모델을 검증한 결과, 벤치마크 성능이 높아도 실제로는 생물학적 입력을 거의 활용하지 않는 것으로 나타났다. BioReason과 BioReason-Pro의 경우 Evo2와 ESM3 같은 생물학 기초 모델의 기여도가 미미했으며, DNA 서열을 무작위로 섞어도 질병 예측 정확도가 거의 변하지 않았다. 두 모델이 텍스트 정보가 아닌 생물학적 입력에 충돌이 있을 때 텍스트를 따르는 비율이 97.9%와 99.7%에 달했다. 전체 요약 8문장 읽기 → 042 18:12 ▲ 10 · 댓글 2 정책 증류에서 상대적 차이의 전이 메커니즘 규명 온-정책 증류(OPD)는 강사 정책에서 학생 정책을 감독하되, 기존에는 강사가 월등히 뛰어나야 효과적이었다. AI · 머신러닝 · Rethinking Relative Policy Differences Transfer of On-Policy Distillation
Key Point 강화학습 정책 증류에서 어떤 강사-참조 조합이 효과적인지, 모델 간 지식 전이 가능 조건을 규명해 실제 응용의 성공률을 높일 수 있기 때문이다.
핵심 요약
온-정책 증류(OPD)는 강사 정책에서 학생 정책을 감독하되, 기존에는 강사가 월등히 뛰어나야 효과적이었다. 최근 연구는 강사의 절대 분포 대신 강사와 참조 정책 간의 상대적 차이를 전이하는 방식을 제안했지만, 어떤 차이가 유용한 감독을 제공하고 어떤 대상이 이득을 볼 수 있는지는 불명확했다. 연구팀은 프록시 강사와 프록시 참조 간의 로그 확률 비를 KL 정규화 정책 최적화의 암묵적 보상으로 해석하는 통합 이론을 개발했다. 전체 요약 9문장 읽기 → 043 15:11 ▲ 243 · 댓글 4 DiffusionART, 확산 모델 강화학습을 12배 빠르게 온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다. AI · 머신러닝 · DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
Key Point 확산 모델 강화학습의 GPU 학습 시간을 10배 이상 단축하면서 보상 성과는 더 높이는 기술로, 이미지 및 비디오 생성 모델 최적화의 실무 효율성을 크게 개선한다.
핵심 요약
온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다. NFT 스타일 목적함수가 숨겨진 순방향-역방향 일관성 강제를 포함하고 있으며, 양성-음성 결합 학습이 이를 부분적으로만 상쇄하고, EMA는 비정책 롤아웃이 아닌 복원을 통해 학습을 안정화한다는 원리를 발견했다. DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)는 각 프롬프트의 보상을 역방향 프로세스 상태를 위한 공유 보상 개선 방향으로 집계해 일관성 강제를 구조적으로 제거한다. 전체 요약 7문장 읽기 → 044 15:11 ▲ 43 · 댓글 2 소형 모델의 지속 학습을 위한 합성 자기 증류법 소형 모델의 지속적 학습(continual post-training)은 새로운 능력을 습득하면서도 기존 지식을 보존해야 하는 이중 과제에 직면해 있다. AI · 머신러닝 · Continually Post-training Small Models via Synthetic Self-distillation
Key Point 분포 편향이 소형 모델 학습 실패의 근본 원인이라는 발견과 이를 해결하는 구체적 기법이 온디바이스 AI 서비스 실현의 핵심 과제를 다룬다.
핵심 요약
소형 모델의 지속적 학습(continual post-training)은 새로운 능력을 습득하면서도 기존 지식을 보존해야 하는 이중 과제에 직면해 있다. 기존 자기 증류 미세조정(SDFT)은 문맥 내 학습과 명령 따르기 능력이 뛰어난 모델에서는 작동하지만, 저지연 온디바이스 실행이 필요한 소형 모델에서는 실패한다. 논문은 소형 모델에서 새로운 능력 습득 실패와 기존 지식 망각이 학습된 모델의 분포 편향과 선형 상관관계를 보여주며, 분포 내 학습의 필요성을 입증했다. 전체 요약 7문장 읽기 → 045 12:11 ▲ 49 · 댓글 2 장시간 프로그램 작성을 학습하는 AI 에이전트 프레임워크 공개 코딩 에이전트가 처음부터 완전한 프로그램을 작성하도록 학습할 수 있는 체계가 부족한 상황에서, 연구팀이 ProgramGym 프레임워크를 공개했다. AI · 머신러닝 · ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
Key Point 프로그램을 처음부터 작성하는 에이전트 개발에 필수적인 대규모 검증 환경과 실용적인 워크플로우를 처음 공개하는 것으로, AI 코딩 보조 도구의 자율성 수준을 한 단계 높이는 사례를 보여준다.
핵심 요약
코딩 에이전트가 처음부터 완전한 프로그램을 작성하도록 학습할 수 있는 체계가 부족한 상황에서, 연구팀이 ProgramGym 프레임워크를 공개했다. Program-Env는 저장소에서 검증 가능한 학습 환경을 자동으로 구성하며, 샌드박스 실행 오류를 수정하고 테스트 품질을 개선하는 피드백 루프를 활용한다. 이 파이프라인으로 C, C++, Go, Rust 프로그래밍 언어를 포함한 1,648개의 학습 환경을 확보했다. 전체 요약 6문장 읽기 → 046 06:11 ▲ 14 · 댓글 2 픽셀 공간 확산 모델, 잠재 공간 모델과 동등한 성능 보여 픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. AI · 머신러닝 · Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
Key Point 픽셀 공간 확산 모델이 세밀한 디테일 작업에서 잠재 공간 모델을 이길 것이라는 기대와 달리 실제로는 동등한 성능만 낸 이유를 알 수 있고, 픽셀 공간 사전학습의 한계와 가능성을 실증적으로 보여준다.
핵심 요약
픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. 3B 매개변수 규모의 Iris-3B 픽셀 공간 텍스트-이미지 트랜스포머를 256→512→1024 커리큘럼으로 처음부터 학습했고, 또한 FLUX.2 Klein 4B 잠재 모델을 픽셀 공간으로 변환했다. 두 모델 모두 단안 깊이 추정과 이미지 복원/초해상화 작업에 미세조정했으나, 픽셀 공간 생성 사전에서 의미 있는 성능 향상을 발견하지 못했다. 전체 요약 6문장 읽기 → 047 21:11 당일 +114 텐센트, 33개 언어 지원하는 다중언어 번역 모델 공개 텐센트가 Hy-MT2 시리즈 다중언어 번역 모델 3종(1.8B, 7B, 30B-A3B MoE)을 공개했으며, 33개 언어 간 번역과 다국어 명령어 이해를 지원한다. AI · 머신러닝 · Tencent-Hunyuan/Hy-MT2 · Python
Key Point 번역 모델의 성능이 상용 API를 능가하는 수준에 도달했으며, 극저비트 양자화로 온디바이스 배포가 실질적으로 가능해졌다.
핵심 요약
텐센트가 Hy-MT2 시리즈 다중언어 번역 모델 3종(1.8B, 7B, 30B-A3B MoE)을 공개했으며, 33개 언어 간 번역과 다국어 명령어 이해를 지원한다. 1.8B 모델은 AngelSlim의 1.25비트 극저비트 양자화로 저장 크기를 440MB까지 줄이고 추론 속도를 1.5배 높였다. 평가 결과 7B와 30B-A3B 모델은 DeepSeek-V4-Pro, Kimi K2.6 같은 오픈소스 모델을 능가하며, 1.8B 모델도 마이크로소프트·더바오 등 상용 API를 전반적으로 능가한다. 전체 요약 9문장 읽기 → 048 15:13 ▲ 24 · 댓글 3 깊이 추정 없이 카메라 관점 변환 비디오 생성 외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. AI · 머신러닝 · LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation
Key Point 깊이 추정 단계를 제거하면서도 비디오 생성 품질을 높이는 새로운 접근법으로, 구조 정렬과 세부 복원의 역할 분담 방식이 확산 모델의 특성과 어떻게 부합하는지 보여준다.
핵심 요약
외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. 기존 최첨단 방식은 깊이를 추정해 포인트 클라우드로 변환한 후 자아중심 카메라 관점에서 재렌더링하고, 이를 비디오 확산 모델의 조건으로 사용한다. 그러나 이 결정론적 매핑은 각 픽셀을 한 위치에만 할당하므로 깊이 오류가 콘텐츠 배치 오류로 전파되고, 텍스처는 보존되지만 정확도가 떨어진다. 전체 요약 9문장 읽기 → 049 12:11 ▲ 72 · 댓글 2 멀티모달 AI를 네비게이션 도구와 연결한 로봇 시스템 일반적인 서비스 로봇이 낯선 환경에서 다양한 인간의 요청을 처리할 수 있는 네비게이션 시스템이 필요한 상황에서, 기존 방법들은 멀티모달 대형언어모델(MLLM)을 네비게이션 학습 데이터로 미세조정하면서 새로운 요청과 환경으로의 일반화 능력이 제한된다. AI · 머신러닝 · SuperNav: An Agentic Navigation System for Any Task in Any Scene
Key Point 로봇 네비게이션에서 MLLM의 일반화 능력을 보존하면서 실제 환경에 적용 가능한 새로운 접근법을 제시한다.
핵심 요약
일반적인 서비스 로봇이 낯선 환경에서 다양한 인간의 요청을 처리할 수 있는 네비게이션 시스템이 필요한 상황에서, 기존 방법들은 멀티모달 대형언어모델(MLLM)을 네비게이션 학습 데이터로 미세조정하면서 새로운 요청과 환경으로의 일반화 능력이 제한된다. SuperNav는 MLLM의 일반적 역량을 보존하면서 요청 해석, 장면 이해, 의사결정은 MLLM에 맡기고 움직임 실행은 네비게이션 도구에 위임하는 방식으로 설계되었다. 사전학습된 MLLM을 네비게이션별 미세조정 없이 에이전트 하네스(agent harness)로 장비하며, 이 하네스는 Navigation Skills, 물리적 상호작용용 에이전트 도구, 작업 진행률 및 문맥 관리를 지원한다. 전체 요약 6문장 읽기 → 050 00:11 ▲ 20 · 댓글 2 Flow 정책 미세조정을 위한 스칼라 수반 매칭 기법 Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. AI · 머신러닝 · Q-Learning with Scalar Adjoint Matching
Key Point Flow 정책의 강화학습 미세조정 비용을 획기적으로 줄이면서도 실제 로봇 제어까지 검증한 실용적 알고리즘이 제안되었다.
핵심 요약
Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. Flow 정책을 학습된 가치 함수로 미세조정하는 것은 정책이 많은 Flow 스텝을 거쳐 행동을 생성하므로 비자명하다. 기존 수반 매칭은 최종 행동에서 각 Flow 스텝으로 가치 정보를 역전파하는 원칙적 방법이지만, 매 스텝마다 벡터-야코비안 곱을 요구해 계산 비용이 Flow 스텝 수와 정책 크기에 따라 증가한다. 전체 요약 9문장 읽기 → 051 18:30 ▲ 17 · 댓글 2 광고 영상 생성용 대규모 데이터셋 'AdSpark' 공개 제품 정체성을 보존하면서 판매 포인트를 다중 장면 내러티브로 표현하는 광고 영상 생성 연구를 위해 AdSpark 데이터셋과 벤치마크를 발표했다. AI · 머신러닝 · AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation
Key Point 제품 광고 영상 생성이라는 새로운 작업을 위해 처음으로 대규모 구조화 데이터셋과 다차원 평가 프레임워크를 제시해, 이 분야 연구의 기초를 마련한다.
핵심 요약
제품 정체성을 보존하면서 판매 포인트를 다중 장면 내러티브로 표현하는 광고 영상 생성 연구를 위해 AdSpark 데이터셋과 벤치마크를 발표했다. AdSpark-300K는 이커머스 플랫폼 데이터를 바탕으로 약 30만 개의 이미지-프롬프트-영상 3쌍으로 구성되며, 실제 데이터와 합성 데이터 부분집합을 포함한다. 각 샘플에는 제품 식별 주석, 판매 포인트 설명, 창의적 계획, 정렬된 음성 스크립트 등 구조화된 광고 주석이 포함되어 있다. 전체 요약 6문장 읽기 → 052 18:33 ▲ 11 · 댓글 2 LLM을 선택형 의사결정 모델로 쓸 수 있나 Jev 스타일 의사결정 모델은 자유 텍스트 생성 대신 미리 정해진 선택지에 대한 확률분포를 반환해 소프트웨어가 바로 활용할 수 있다. AI · 머신러닝 · LLM-as-Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them
Key Point LLM을 선택형 의사결정에 특화된 모델로 쓸 수 있다는 발견은 작은 모델도 분류·라우팅·선택 작업에 미세조정 없이 충분할 수 있다는 뜻이며, 이는 개발자가 LLM 활용 방식을 새로 고민하게 만든다.
핵심 요약
Jev 스타일 의사결정 모델은 자유 텍스트 생성 대신 미리 정해진 선택지에 대한 확률분포를 반환해 소프트웨어가 바로 활용할 수 있다. 이 논문은 일반용 LLM이 기본 상태에서 이 능력을 이미 갖추고 있는지, 언제 미세조정이 필요한지 조사했다. LLM-as-Jev 프레임워크는 아키텍처를 그대로 두고 대괄호 안 숫자 토큰의 다음토큰 확률에서 보정된 의사결정을 추출한다. 전체 요약 8문장 읽기 → 053 18:33 ▲ 11 · 댓글 2 로봇의 조작 기술을 영상에서 자동 추출하는 방법 조작 행동은 대상·장면마다 다르지만 재사용 가능한 기술의 작은 집합으로 구성되며, 이런 기술을 활용한 계획 수립이 에이전트의 새로운 작업 일반화를 돕는다. AI · 머신러닝 · Video2Skill: From Streaming Experience to Reusable Embodied Skills
Key Point 로봇의 조작 기술을 자동으로 발견하고 재사용할 수 있는 능력이 일반화의 핵심인데, 현재 대규모 모델조차 새로운 기술을 학습하는 데 실패한다는 점이 구체적으로 밝혀졌다.
핵심 요약
조작 행동은 대상·장면마다 다르지만 재사용 가능한 기술의 작은 집합으로 구성되며, 이런 기술을 활용한 계획 수립이 에이전트의 새로운 작업 일반화를 돕는다. 연구팀은 영상 스트림에서 재사용 가능한 기술을 지속적으로 발견하는 '스트리밍 체현화된 기술 발견(SESD)' 문제를 정의하고, 이를 측정하는 Video2Skill 벤치마크를 개발했다. 벤치마크는 로봇 테이블탑 조작과 인간의 주방 활동을 다루며 세 가지 핵심 능력을 테스트한다: (i) 시간상 조작 사건 위치 파악, (ii) 같은 변환의 사건 그룹화, (iii) 기존 기술 재사용 vs 새 기술 생성 판단. 전체 요약 8문장 읽기 → 054 18:35 ▲ 11 · 댓글 2 VLM에 세계 모델 통합, 공간 추론 성능 39% 향상 인간이 시각적 변환을 정신적으로 시뮬레이션해 공간 문제를 푸는 것과 달리, 기존 시각언어모델(VLM)은 주로 언어로만 추론한다. AI · 머신러닝 · WM-VLM: Probing Internal World Models for Interleaved Visual-Textual Reasoning
Key Point 시각언어모델이 공간 추론을 하기 위해 중간 시각 상태 생성이 얼마나 효과적인지 보여주는 실증적 증거를 제시하며, VLM의 추론 메커니즘을 개선할 새로운 접근법을 제안한다.
핵심 요약
인간이 시각적 변환을 정신적으로 시뮬레이션해 공간 문제를 푸는 것과 달리, 기존 시각언어모델(VLM)은 주로 언어로만 추론한다. 텍스트와 생성된 시각 상태를 모두 활용해 공간 문제를 해결할 수 있는 VLM을 만들기 위해 WM-VLM을 제안했다. WM-VLM은 사전학습된 VLM에 가벼운 세계 모델 브랜치를 추가해 중간 시각 상태를 생성한다. 전체 요약 8문장 읽기 → 055 18:35 ▲ 117 · 댓글 3 Kandinsky 6.0 Video, 텍스트로 음성 동기화 영상 생성 Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델. AI · 머신러닝 · Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
Key Point 음성과 영상이 완벽하게 동기화된 멀티모달 생성 기술이 오픈소스로 공개되어 영상 제작 자동화와 멀티미디어 연구를 가속할 수 있게 되었습니다.
핵심 요약
Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델. 경량 버전(3B 파라미터)과 고성능 버전(29B 파라미터) 두 종류로, 5초 영상과 44 kHz 음성을 립싱크 포함해 생성. 텍스트-오디오-비디오(T2AV)와 이미지-오디오-비디오(I2AV) 모드 지원하며, 내장 초해상화로 1920×1080 풀HD 출력 가능. 전체 요약 8문장 읽기 → 056 09:11 ▲ 12 · 댓글 2 의료 AI 검증 시스템의 숨은 한계, 자동 분류로 드러내다 의료 데이터에서 검색한 근거로 LLM 생성 답변의 사실성을 확인하는 검색 기반 평가가 임상 환경에서 주류 방식이 되었으나, F1 같은 집계 지표는 실패의 원인과 위치를 불명확하게 남긴다. AI · 머신러닝 · Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification
Key Point 의료 AI 시스템의 검증 성능이 개선되지 않는 근본 원인이 무엇인지 밝혀, 현재 방식의 한계를 이해하고 새로운 접근이 필요한 이유를 제시한다.
핵심 요약
의료 데이터에서 검색한 근거로 LLM 생성 답변의 사실성을 확인하는 검색 기반 평가가 임상 환경에서 주류 방식이 되었으나, F1 같은 집계 지표는 실패의 원인과 위치를 불명확하게 남긴다. MedExpert 데이터셋과 3개의 폐쇄형 데이터셋 사례 연구에서 검색 단계 오류 5가지와 검증 추론 오류 6단계를 분류하는 두 개의 체계적 분류법을 개발했다. LLM을 판사로 삼아 증거 품질을 라벨링하고 검증 오류를 자동으로 분류하는 패턴 귀납 파이프라인을 적용하여 4가지 검색 방식과 6개 최신 검증 모델에서 대규모로 검증했다. 전체 요약 5문장 읽기 → 057 09:11 ▲ 11 · 댓글 2 생의학 문장 인코더를 선택 결정 모델로 변환하는 방법 검색 학습으로 훈련된 생의학 문장 인코더를 스키마 제약이 있는 예/아니오 질문에 답하는 타입 결정 모델로 변환하는 SBERT2S1을 제시했다. AI · 머신러닝 · From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders
Key Point 생의학 자연언어 이해 작업에서 검색 학습의 효과가 모델 구조에 따라 크게 달라진다는 점과 기존 강화학습 방식의 구체적인 한계를 정량적으로 규명했다.
핵심 요약
검색 학습으로 훈련된 생의학 문장 인코더를 스키마 제약이 있는 예/아니오 질문에 답하는 타입 결정 모델로 변환하는 SBERT2S1을 제시했다. 6개의 모델 쌍에서 제로샷 테스트 결과, 검색 학습이 있으면 내용 있는 선택지 매칭이 개선되는 것을 확인했다. 미세조정 후 효과는 모델 구조에 따라 달라졌는데, 검색 사전 정보를 유지하는 PFR 구조는 5개 모델 쌍과 3개 훈련 크기에서 15번 중 10번 개선되었으나, 교차 주의 구조(C)는 5번 악화되고 1번만 개선됐다. 전체 요약 7문장 읽기 → 058 09:11 ▲ 11 · 댓글 2 SFT에서 토큰 가중치를 다시 설계하다: SCALE 방법론 감독된 미세 조정(SFT)은 모델이 가능성 낮다고 판단한 토큰에서 가장 적극적으로 학습하는데, 이는 새로운 동작을 습득하는 동시에 노이즈나 충돌하는 지도를 증폭하고 기존 사전학습 지식을 덮어쓸 수 있다. AI · 머신러닝 · Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features
Key Point 기존 미세 조정 방식의 근본적인 한계를 분석하고 새로운 기준틀을 제시하는 방법론으로, 수학·코드 성능에서 기존 방식을 초과하면서 실제 모델 개선에 활용될 수 있는 기술입니다.
핵심 요약
감독된 미세 조정(SFT)은 모델이 가능성 낮다고 판단한 토큰에서 가장 적극적으로 학습하는데, 이는 새로운 동작을 습득하는 동시에 노이즈나 충돌하는 지도를 증폭하고 기존 사전학습 지식을 덮어쓸 수 있다. 기존 토큰 재가중치 방법들은 음이 아닌 계수를 할당해 지도 업데이트를 억제하거나 증폭할 수 있지만, 일단 학습된 해로운 특성을 역으로 돌릴 수 없다. 큰 학습 가중치는 최적화 궤적을 바꾸는 것이지 고정된 SFT 방향의 크기를 조정하는 것이 아니므로, 진정한 특성 추외삽은 이루어지지 않는다. 전체 요약 9문장 읽기 → 059 09:11 ▲ 10 · 댓글 1 3D 구조를 살린 옥트리 기반 언어모델 OctLLM 기존 3D LLM은 3차원 형태를 부호화 지수나 텍스트 좌표로 압축해 공간 정보를 손실하고, 백본을 미세조정해 언어 능력을 훼손하는 두 가지 문제를 안고 있다. AI · 머신러닝 · Octrees as an Explicit 3D Language
Key Point 3D 데이터의 공간 구조를 손상시키지 않으면서도 기존 언어모델의 능력을 보존하는 멀티모달 LLM 설계 방식이 기존 기법들보다 우수한 성능을 달성했기 때문에 3D AI 모델 개발에 관심 있는 연구자와 실무자에게 참고할 만한 접근법을 제시한다.
핵심 요약
기존 3D LLM은 3차원 형태를 부호화 지수나 텍스트 좌표로 압축해 공간 정보를 손실하고, 백본을 미세조정해 언어 능력을 훼손하는 두 가지 문제를 안고 있다. OctLLM은 3D 데이터를 옥트리 점유 토큰의 명시적 3D 시퀀스로 입력받으면서도, 끝에서 두 번째 수준의 노드를 무작위로 비우고 자손을 생략해 형태를 보존한 Sparse Octree(S-Octree)로 단축해 위치 인식 마스크 모델링과 3D 이해를 지원한다. 3D 모달리티를 추가할 때 전체 미세조정이나 LoRA 대신, 메시 토큰을 블록의 일부에서 독립적인 학습 가능 브랜치로 라우팅하면서 텍스트와 이미지 토큰은 고정된 비전-언어 경로를 유지하고, 두 스트림이 공유 자기주의를 통해 상호작용하도록 설계했다. 전체 요약 4문장 읽기 → 060 09:11 ▲ 13 · 댓글 2 효율 학습이 추론의 투명성을 항상 해치지는 않는다 Chain-of-Thought(CoT) 추론을 짧게 만드는 효율 학습 방식이 모델의 투명성에 미치는 영향을 실증적으로 분석한 연구다. AI · 머신러닝 · Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability
Key Point 대규모 언어모델의 투명성을 보장하면서도 추론 비용을 줄이는 방법의 실제 효과를 처음으로 체계적으로 검증한 연구로, LLM 배포 시 신뢰성과 효율성의 트레이드오프를 이해하는 데 필수적인 근거를 제공한다.
핵심 요약
Chain-of-Thought(CoT) 추론을 짧게 만드는 효율 학습 방식이 모델의 투명성에 미치는 영향을 실증적으로 분석한 연구다. 연구팀은 생성 예산 고정, 문장별 길이 목표, 상대적 길이 보상 세 가지 방식으로 길이 압력을 적용해 여러 모델을 미세조정했다. CoT 충실성(추론이 모델의 실제 의사결정을 얼마나 정확히 반영하는지)과 모니터링 가능성(입력 변화를 감지할 수 있는지)을 평가했다. 전체 요약 6문장 읽기 → 061 06:11 ▲ 17 · 댓글 2 LLM 점수 매기기, 순서에 따라 결정 달라진다 문서 재순위화·응답 순위 매기기·다중 문서 질의응답에서 LLM은 한 프롬프트에 여러 후보를 함께 점수 매기는데, 이 점수로 문턱값 유지 여부·독자 답변·선호도 학습용 쌍을 결정한다. AI · 머신러닝 · Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
Key Point LLM을 활용한 텍스트 순위 매기기는 정보 검색·추천 시스템의 핵심 기술인데, 같은 품질의 모델이 후보 순서에 따라 다른 결정을 내리는 숨겨진 문제를 드러내고 실질적 해결책을 제시한다.
핵심 요약
문서 재순위화·응답 순위 매기기·다중 문서 질의응답에서 LLM은 한 프롬프트에 여러 후보를 함께 점수 매기는데, 이 점수로 문턱값 유지 여부·독자 답변·선호도 학습용 쌍을 결정한다. 같은 쿼리와 후보에 대해 순서를 바꾸면 점수가 달라져 최종 결정이 바뀌는데, 랭킹 품질이 같아도 의사결정이 다르다는 문제가 발생한다. 실험 결과 점수 매김 품질이 0.010 nDCG@10 범위 내인 다섯 모델도 순서 변경 시 유지 대상 집합의 겹침이 0.66~0.84에 불과했다. 전체 요약 8문장 읽기 → 062 06:11 ▲ 15 · 댓글 1 로봇이 시뮬레이션에서 배운 조작 기술을 현실에서 바로 쓴다 로봇이 시뮬레이션과 현실의 차이(시각, 역학, 몸체)를 넘어 기술을 옮기는 문제를 해결하는 Skill2Real 프레임워크를 제시했다. 하드웨어 · 시스템 · Skill2Real: Agentic Skill Learning for Zero-Shot Sim-to-Real Robot Manipulation
Key Point 시뮬레이션 학습으로 실제 로봇 조작을 성공시키는 과정이 공개됨에 따라, 로봇 개발의 데이터 수집 비용과 안전 리스크를 크게 줄일 수 있는 경로가 가시화되었다.
핵심 요약
로봇이 시뮬레이션과 현실의 차이(시각, 역학, 몸체)를 넘어 기술을 옮기는 문제를 해결하는 Skill2Real 프레임워크를 제시했다. 공통 API로 실행 가능한 스킬을 학습하며, Proposer-Verifier-Governor(PVG) 루프가 시뮬레이션 정보로 결과를 진단하고 업데이트를 검증한다. 소뇌(Cerebellum)에서 조작 스킬을 먼저 획득한 뒤 뇌(Brain)에서 소뇌를 고정하고 과제 수준의 조합을 학습한다. 전체 요약 8문장 읽기 → 063 06:11 ▲ 24 · 댓글 2 대형 모델의 '재앙적 망각' 해결하는 학습법 제안 사전학습된 대규모 모델에서 새로운 학습 시 이전 능력을 잃는 '재앙적 망각(catastrophic forgetting)' 문제를 연구했다. AI · 머신러닝 · Local Support Learning
Key Point 새로운 작업을 학습할 때 이전 지식을 잊어버리는 문제는 실제 LLM 배포에서 가장 큰 난제인데, 이전 데이터 없이 이를 해결하는 실용적 방법론이 제시되었기 때문입니다.
핵심 요약
사전학습된 대규모 모델에서 새로운 학습 시 이전 능력을 잃는 '재앙적 망각(catastrophic forgetting)' 문제를 연구했다. 연구팀이 제안한 '로컬 서포트 러닝(Local Support Learning, LSL)'은 이전 데이터에 접근하지 않으면서도 기존 능력을 유지하는 일반적 프레임워크다. LSL은 학습 적응 모듈과 게이팅 함수 두 가지 요소로 구성되는데, 적응 모듈은 손실을 최소화하고 게이팅 함수는 현재 학습 데이터 분포에서만 업데이트를 활성화한다. 전체 요약 6문장 읽기 → 064 00:11 ▲ 77 · 댓글 2 온정책 학습의 매개변수 업데이트 방향이 LLM 일반화 능력 좌우한다 온정책(on-policy) 포스트트레이닝은 강한 일반화 성능을 보이는데, 기존 연구들은 이 과정의 매개변수 업데이트 행동을 단순 부산물로만 취급했다. AI · 머신러닝 · On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
Key Point LLM 포스트트레이닝에서 온정책 방식의 우수한 일반화 능력을 효율적인 SFT 방식으로도 구현 가능하다는 것을 보여줌으로써, 실제 모델 학습 전략의 개선 방향을 제시한다.
핵심 요약
온정책(on-policy) 포스트트레이닝은 강한 일반화 성능을 보이는데, 기존 연구들은 이 과정의 매개변수 업데이트 행동을 단순 부산물로만 취급했다. 연구팀은 SFT(지도 미세조정)가 일관된 방향으로 매개변수를 업데이트하는 반면, 온정책 패러다임은 학습 중 지속적으로 방향을 조정한다는 점을 발견했다. 각 매개변수의 누적 업데이트 방향이 핵심 행동이라는 가설을 바탕으로, OPSFT(온정책 방향 제약 지도 미세조정) 기법을 제안했다. 전체 요약 7문장 읽기 → 065 21:11 ▲ 78 · 댓글 2 행동 라벨 없이 영상에서 로봇 제어 정책 학습하는 NAVA-WAM 세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다. AI · 머신러닝 · Native Action-Prior Learning from Videos for World Action Models
Key Point 로봇 제어에 필수적인 행동 라벨 데이터 의존성을 제거하고 일반 영상만으로 로봇 정책을 학습하는 새로운 접근법을 제시해, 로봇 학습의 데이터 수집 병목을 해결한다.
핵심 요약
세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다. 관찰만 가능한 일반 영상에는 상호작용 역학에 대한 풍부한 정보가 있지만, 기존 방식은 이를 시각 표현 사전학습 또는 잠재 행동 추론에만 활용했다. NAVA-WAM은 행동 라벨 없는 영상에서 직접 행동 정책을 사전학습하는 '원시 행동 사전 학습(native action-prior learning)'을 도입해, 간접적인 표현-제어 전이나 별도의 잠재 행동 모델을 피한다. 전체 요약 7문장 읽기 → 066 00:11 ▲ 107 · 댓글 19 독일 Aleph Alpha, 주권형 언어모델 Kolibri 공개 Aleph Alpha가 78B 총 파라미터(3B 활성화)의 영-독일 이중언어 Mixture-of-Experts 모델 Kolibri를 공개했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원하고 Apache 2.0 라이선스로 Hugging Face에서 다운로드 가능하다. AI · 머신러닝 · Kolibri Has Landed: A Sovereign Open-Weight Model
Key Point EU 규제에 맞춘 독일 기업의 오픈소스 모델이 소규모 활성 파라미터로 대형 모델을 능가하는 성능을 달성했으며, 투명한 공급망과 온프레미스 배포로 정부·산업 고객의 데이터 주권을 보장하는 새로운 접근 방식을 보여준다.
핵심 요약
Aleph Alpha가 78B 총 파라미터(3B 활성화)의 영-독일 이중언어 Mixture-of-Experts 모델 Kolibri를 공개했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원하고 Apache 2.0 라이선스로 Hugging Face에서 다운로드 가능하다. Kolibri는 정부·산업·항공우주 등 규제 대상 영역의 임무 수행을 위해 독일어, 추론, 수학, 에이전트 행동에 최적화되었으며, 개별 고객의 사용 사례에 맞춘 성능을 제공한다. 모델은 공급망 투명성, 독일 및 핀란드 인프라 기반 운영, 완전한 배포 자유도를 제공하여 주권성을 확보했으며, EU AI법과 GDPR 준수를 설계 초기부터 반영했다. 전체 요약 13문장 읽기 → 067 12:11 ▲ 54 · 댓글 2 동영상 생성 모델의 정렬 문제, 첫 종합 가이드 동영상 생성 기술이 저해상도 단편에서 고해상도 장시간 시퀀스로 급속도 발전했으나, 사전학습된 모델은 인간 의도 따르기·시간적 일관성 유지·물리법칙 준수에 실패하는 경우가 많다. AI · 머신러닝 · Video Generation Models: A Survey of Post-Training and Alignment
Key Point 동영상 생성 모델이 인간 의도를 제대로 따르지 못하는 근본적인 정렬 문제를 체계화한 첫 종합 가이드로, 앞으로의 동영상 생성 기술 개발 방향을 정리해준다.
핵심 요약
동영상 생성 기술이 저해상도 단편에서 고해상도 장시간 시퀀스로 급속도 발전했으나, 사전학습된 모델은 인간 의도 따르기·시간적 일관성 유지·물리법칙 준수에 실패하는 경우가 많다. 동영상 생성의 정렬(alignment)은 이미지·텍스트 생성보다 난제가 많은데, 누적 오차·움직임-외형 결합·다목적 트레이드오프·시간적 속성의 제한된 감독이 주요 과제다. 이 논문은 동영상 모델의 사후학습(post-training)과 정렬을 다룬 첫 종합 리뷰로, 정렬 신호 적용 방식에 따라 암묵적 정렬과 명시적 정렬로 구분한다. 전체 요약 6문장 읽기 → 068 21:11 ▲ 29 · 댓글 2 LLM으로 상품 검색 정확도 높이는 카탈로그 최적화 기법 소규모 온라인 상점들은 전체 카탈로그를 LLM의 장문맥 윈도우에 집어넣는 방식을 사용할 수 있으나, 단순히 포함시키는 것만으로는 모델이 정보를 효과적으로 활용하지 못한다. AI · 머신러닝 · RPTune: Learned Context Curation for LLM Catalog Search
Key Point 소규모 상점의 상품 검색 정확도를 대폭 높일 수 있는 실용적 기법이며, 장문맥 LLM을 실제 전자상거래에 활용하는 방식을 제시한다.
핵심 요약
소규모 온라인 상점들은 전체 카탈로그를 LLM의 장문맥 윈도우에 집어넣는 방식을 사용할 수 있으나, 단순히 포함시키는 것만으로는 모델이 정보를 효과적으로 활용하지 못한다. RPTune은 카탈로그 구성 방식을 학습하고 LLM을 미세조정하는 통합 프레임워크로, 자동 생성된 카탈로그 기반 감독 신호를 사용한다. 인코더-재정렬기 큐레이터가 다운스트림 LLM 피드백에 따라 상품을 순서대로 정렬하고 불필요한 항목을 제거한다. 전체 요약 6문장 읽기 → 069 21:11 ▲ 51 · 댓글 2 다중 에이전트 경로 탐색, 반복적 의도 정제로 충돌 해결 다중 에이전트 경로 탐색(MAPF)에서 에이전트들이 독립적으로 행동을 샘플링할 때, 각 에이전트의 선택은 타당해도 결합하면 충돌하는 문제가 발생한다. AI · 머신러닝 · Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding
Key Point 분산형 다중 에이전트 시스템에서 각 에이전트가 독립적으로 결정할 때 발생하는 조정 실패를 반복적 정제로 해결하는 새로운 방식으로, 경로 탐색 성능 한계를 크게 개선한다.
핵심 요약
다중 에이전트 경로 탐색(MAPF)에서 에이전트들이 독립적으로 행동을 샘플링할 때, 각 에이전트의 선택은 타당해도 결합하면 충돌하는 문제가 발생한다. DMM(Decentralized Master-Mind)은 일회성 샘플링 대신 확산 모델의 노이징 제거에서 영감을 얻은 반복적 의도 정제 방식을 제안한다. 에이전트들이 무작위 행동 의도로 시작해 통신을 통해 지역적으로 선택을 조정한 뒤 최종 결정을 내린다. 전체 요약 6문장 읽기 → 070 15:11 ▲ 83 · 댓글 2 강화학습 미세조정 후 LLM의 성능 편향성, 'Sharpening Tax' 측정법 제시 RL 미세조정이 기본 모델의 기존 행동만 선명하게 만들어 단일 시도 정확도(pass@1)는 높이지만 전체 해결 가능성(pass@K)은 낮춘다는 가설이 제기되고 있다. AI · 머신러닝 · Sharpening Tax in Post-Training
Key Point LLM의 강화학습 미세조정이 실제로는 문제 해결 능력을 좁히는 부작용이 있다는 실증적 증거와 이를 측정하고 개선하는 방법론을 제시하여, 에이전트 성능 평가와 최적화 전략에 근본적인 재고를 촉구한다.
핵심 요약
RL 미세조정이 기본 모델의 기존 행동만 선명하게 만들어 단일 시도 정확도(pass@1)는 높이지만 전체 해결 가능성(pass@K)은 낮춘다는 가설이 제기되고 있다. 아젠틱 작업에서는 사전학습 모델이 추론 시간 예산을 충분히 주면 미세조정 모델보다 pass@K에서 더 높은 성능을 보인다는 놀라운 발견이 있었다. 미세조정이 작업을 '항상 해결 가능' 또는 '절대 불가능' 양극단으로 밀어 샘플링 효율과 일관성은 개선하지만 해결 가능 범위는 줄인다는 메커니즘을 규명했다. 전체 요약 6문장 읽기 → 071 12:11 ▲ 15 · 댓글 2 VLA 강화학습, 저랭크 구조로 성능 향상 메커니즘 규명 비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다. AI · 머신러닝 · The Low-Rank Structure of VLA Reinforcement Learning
Key Point 로봇 비전-언어 모델의 강화학습이 파라미터 공간에서 어떻게 작동하는지 처음으로 명확히 규명했으며, 효율적인 미세조정 전략을 제시해 VLA 모델 개발 방식을 바꿀 수 있다.
핵심 요약
비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다. π₀.₅, GR00T N1.5/N1.6 등 플로우 기반 VLA 모델을 LIBERO, ManiSkill, MetaWorld, CALVIN에서 테스트한 결과, 타임스텝 모듈이 RL 성능 향상의 불균형적으로 큰 부분을 차지한다. RL은 타임스텝 모듈을 롤아웃 중 사용되는 이산 노이징 타임스텝에 특화시키며, 이 이산 타임스텝 학습이 저랭크 업데이트의 원인이다. 전체 요약 6문장 읽기 → 072 03:11 ▲ 61 · 댓글 1 LLM이 외부 지침을 선별하는 법: 신뢰성 판단과 거부 능력 모델이 성능이 높아질수록 인간이 설계한 워크플로우 지침이 부정확해졌을 때 실행을 제약하는 문제를 지적한다. AI · 머신러닝 · Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
Key Point 생성형 AI를 에이전트로 운영할 때 외부 지침에 무조건 따르는 것이 항상 최선은 아니라는 점을 실증적으로 증명하며, 모델이 거짓 지침을 거부하고 참 지침만 선별하는 능력을 어떻게 학습시킬 수 있는지를 다룬다.
핵심 요약
모델이 성능이 높아질수록 인간이 설계한 워크플로우 지침이 부정확해졌을 때 실행을 제약하는 문제를 지적한다. 이 논문은 '생각의 틀 밖으로' 나가는 능력을 정의하는데, 유용한 지침은 따르면서 신뢰할 수 없는 지침은 무시하는 능력을 뜻한다. Box²-Bench라는 벤치마크를 제시해 모델과 작업을 고정하되 워크플로우 신뢰성만 변동시켜 지침 의존도를 측정한다. 전체 요약 7문장 읽기 → 073 03:11 ▲ 184 · 댓글 63 클라우드플레어, 의사결정 특화 AI 모델 Clef 공개 클라우드플레어가 Jev Decision Index에서 1위를 차지한 의사결정 모델 Clef와 Clef-flash를 공개했고, 두 모델 모두 Apache 2.0 라이선스로 오픈소스화해 Hugging Face에서 배포 중이다. AI · 머신러닝 · Clef: Open-source decision models, and new RL fine-tuning platform
Key Point LLM의 비결정성과 느린 토큰 생성을 대체해 프로덕션 에이전트 워크플로우에서 실시간 의사결정이 필요한 개발자들에게 구체적인 선택지를 제공하며, 오픈소스 배포와 미세조정 플랫폼으로 커스터마이징 가능성을 연다.
핵심 요약
클라우드플레어가 Jev Decision Index에서 1위를 차지한 의사결정 모델 Clef와 Clef-flash를 공개했고, 두 모델 모두 Apache 2.0 라이선스로 오픈소스화해 Hugging Face에서 배포 중이다. 의사결정 모델은 입력에 따라 확률과 함께 타입이 지정된 구조화 출력을 생성해 에이전트가 자동으로 판단하고 실행하도록 돕는데, 예를 들어 고객 지원 메시지를 받아 긴급도와 담당팀을 분류한다. Clef는 이미지 분류도 가능한 비전 인코더를 갖춰 Jev(텍스트 분류만 지원)와 다르며, 64k 컨텍스트 윈도우(Jev는 32k)로 더 많은 입력을 처리할 수 있다. 전체 요약 12문장 읽기 → 074 09:11 ▲ 12 · 댓글 2 픽셀 디퓨전 모델에 적대적 학습 추가로 고주파 품질 개선 픽셀 디퓨전 모델은 오토인코더 병목을 피해 RGB 이미지를 직접 생성하지만, 미세한 자연 이미지 통계를 체계적으로 과소 표현하는 문제가 있다. AI · 머신러닝 · Adversarial Training for Pixel Diffusion
Key Point 픽셀 디퓨전이 기존 오토인코더 기반 모델의 문제를 우회한다는 점에서 더 직접적인 방식이었으나, 미세한 디테일 손실 문제를 적대적 학습으로 해결할 수 있음을 보여주는 실질적 개선 방법이기 때문입니다.
핵심 요약
픽셀 디퓨전 모델은 오토인코더 병목을 피해 RGB 이미지를 직접 생성하지만, 미세한 자연 이미지 통계를 체계적으로 과소 표현하는 문제가 있다. 연구팀은 사전학습된 모델에 적대적 손실을 더해 이 결함을 보정하는 방법을 제시했다. 원래 확산 또는 플로우 매칭 목표를 유지하면서 비고노이즈 타임스텝에서만 적대적 손실을 예측 출력에 추가한다. 모델 아키텍처와 샘플링 절차는 변경하지 않으며, 픽셀 디퓨전의 적대적 사후학습에 대한 첫 체계적 연구다. 전체 요약 9문장 읽기 → 075 09:11 ▲ 12 · 댓글 2 중국어 의사결정형 AI 모델 'Chinese-Jev' 공개 System One 모델인 Jev를 중국어 작업에 맞게 개선한 Chinese-Jev를 공개했다. AI · 머신러닝 · Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
Key Point 생성형 LLM 중심의 AI 개발 흐름에서 빠른 의사결정 작업에 특화된 System One 모델의 필요성이 증대되고 있으며, 중국어 처리 시 모바일 기기까지 효율적으로 배포할 수 있는 구체적 솔루션이 제시되었다.
핵심 요약
System One 모델인 Jev를 중국어 작업에 맞게 개선한 Chinese-Jev를 공개했다. 기존 Jev 모델이 중국어 의사결정 정확도에서 제한이 있었기에, 통합 데이터 처리 및 학습 파이프라인으로 이를 보완했다. 이질적인 중국어 주석을 후보 선택지별 확률로 변환하는 데이터 처리 프로토콜을 개발해 도메인과 질문 형식 간 학습을 통일했다. 전체 요약 8문장 읽기 → 076 18:11 ▲ 17 · 댓글 1 계층적 표현 학습으로 이미지 재구성 품질 향상 사전학습된 시각 표현은 이미지 생성에는 유용하지만 충실한 복원에 필요한 세부 사항을 완전히 보존하지 못한다. AI · 머신러닝 · HiRAE: Hierarchical Representation Autoencoding with Residual Budgets
Key Point 인코더 계층의 다중 정보를 효율적으로 활용해 이미지 복원 품질을 크게 높인 방법론으로, 복잡한 튜닝 없이 생성 모델과의 호환성을 유지하는 점이 실무적 가치가 있다.
핵심 요약
사전학습된 시각 표현은 이미지 생성에는 유용하지만 충실한 복원에 필요한 세부 사항을 완전히 보존하지 못한다. 인코더의 중간 계층들은 보완적인 시각 정보를 가지고 있으나 이들을 효과적으로 융합하면 모델링이 어려운 잠재 분포가 생성된다. 기존 융합 방식은 계층 선택의 경험적 튜닝이나 단계별 최적화가 필요해 설정 비용과 학습 복잡도가 높다. 전체 요약 8문장 읽기 → 077 03:11 ▲ 28 · 댓글 1 흉부 X선 분석을 위한 문장 중심 비전-언어 모델 SentZero 흉부 X선(CXR) 이미지와 방사선 리포트를 사용한 비전-언어 사전학습이 의료 영상 이해에 유망하지만, 기존 방법들은 긴 임상 리포트를 간단한 제로샷 프롬프트로 정렬하기 어려워 작업별 미세조정에 의존한다. AI · 머신러닝 · SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
Key Point 방사선학 텍스트의 특성을 고려한 새로운 문장 수준 설계와 거짓 음성 완화 기법이 흉부 X선의 미세조정 없는 분석 성능을 크게 향상시킨다.
핵심 요약
흉부 X선(CXR) 이미지와 방사선 리포트를 사용한 비전-언어 사전학습이 의료 영상 이해에 유망하지만, 기존 방법들은 긴 임상 리포트를 간단한 제로샷 프롬프트로 정렬하기 어려워 작업별 미세조정에 의존한다. 최근 문장 수준 접근법이 LLM으로 추출한 임상 구문을 사용해 이를 부분적으로 개선했으나, 방사선학 텍스트의 내재적 특성을 간과하고 양성 쌍의 다양성이 제한되어 있다. 임상적으로 동등한 문장이 환자 간에 반복되면서 대조 학습에서 거짓 음성이 발생하는 문제가 있다. 전체 요약 6문장 읽기 → 078 00:11 ▲ 13 · 댓글 3 동작 중심 영상 학습, 시간축 분리로 효율성 확보 영상 자가학습에서 아키텍처와 목적함수, 데이터, 학습 일정 등 여러 요소가 동시에 변해 동작 우선 표현 학습의 효과를 명확히 파악하기 어려운 점을 지적한다. AI · 머신러닝 · TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining
Key Point 시간과 공간을 분리해 동작 학습을 효율화하는 새로운 방식이 기존 방법보다 훨씬 빠르면서 동시에 여러 벤치마크에서 큰 폭의 성능 향상을 달성했기 때문이다.
핵심 요약
영상 자가학습에서 아키텍처와 목적함수, 데이터, 학습 일정 등 여러 요소가 동시에 변해 동작 우선 표현 학습의 효과를 명확히 파악하기 어려운 점을 지적한다. 이를 해결하기 위해 약 170M~190M 인코더 규모로 24가지 아키텍처-목적함수 조합을 통제된 조건에서 비교했다. TT-VidT는 DINOv3으로 초기화한 ViT-B/16 공간 경로와 컴팩트 Temporal Transfer Layer를 조합하고, Diff Compression 목적함수로 첫 프레임 외형 정보와 프레임별 동작 토큰으로부터 타겟 프레임을 재구성하도록 학습한다. 전체 요약 7문장 읽기 → 079 15:11 ▲ 22 · 댓글 1 에이전트 학습용 작업 환경을 자동으로 만드는 Skill2Env 프레임워크 에이전트를 도구 사용과 다단계 상호작용이 필요한 작업으로 학습시키려면 실행 가능한 환경이 필수이지만, 현재는 작업과 환경을 함께 구성하기가 어렵고 확장성이 떨어진다. AI · 머신러닝 · Skill2Env: Capability-Oriented Environment Synthesis from Skills for General Agents
Key Point 에이전트 학습을 위한 작업 환경 구성의 병목을 자동화로 해결하며, 스킬이라는 기존 지식에서 출발해 난이도를 체계적으로 조절하는 방식이 에이전트 학습의 실용성을 크게 높일 수 있음을 보여준다.
핵심 요약
에이전트를 도구 사용과 다단계 상호작용이 필요한 작업으로 학습시키려면 실행 가능한 환경이 필수이지만, 현재는 작업과 환경을 함께 구성하기가 어렵고 확장성이 떨어진다. Skill2Env는 기존 스킬(도메인 지식, 작업 절차, 도구 사용 지시)에서 출발해 에이전트의 역량 요구사항을 기반으로 작업과 환경을 자동 합성하는 프레임워크이다. 난이도 패턴과 작업 청사진을 통해 목표, 도전 요소, 환경 사실, 정보 경계, 평가 기준을 명시하고, 이를 토대로 작업 지시, 실행 기반, 작업 공간, 평가자를 함께 구성한다. 전체 요약 5문장 읽기 → 080 15:11 ▲ 25 · 댓글 1 문맥 학습의 약점을 공개 문서 합성으로 보완 LLM이 작업별 문맥을 이해하고 학습하는 능력이 약한데, 사람이 주석을 달아서 훈련 데이터를 만드는 것은 비용이 많이 들고 확장하기 어렵다. AI · 머신러닝 · Learning to Learn from Context: Synthetic Training from Perturbed Public Documents
Key Point 대규모 언어 모델의 문맥 학습 능력을 사람 개입 없이 개선하는 확장 가능한 방법이 제시되어, 고비용 데이터 레이블링에 의존하던 관행을 바꿀 수 있다.
핵심 요약
LLM이 작업별 문맥을 이해하고 학습하는 능력이 약한데, 사람이 주석을 달아서 훈련 데이터를 만드는 것은 비용이 많이 들고 확장하기 어렵다. 공개 문서는 풍부한 자원이지만 대부분 사전학습에 이미 포함돼 있어서, 그대로 학습하면 문맥 학습보다 암기를 유도할 수 있다. 연구팀은 공개 문서를 약간씩 수정한 뒤 3.5k개 문서에서 사람의 개입 없이 약 10k개 샘플을 자동 생성하는 파이프라인을 구축했다. 전체 요약 8문장 읽기 → 081 21:11 ▲ 10 · 댓글 1 80B 파라미터지만 13B만 쓰는 혼연 AI, 오픈소스 공개 혼연(Hunyuan)이 80억 개 파라미터 중 추론 시 13억 개만 활성화하는 혼합 전문가(MoE) 구조의 대규모 언어모델 Hunyuan-A13B를 오픈소스로 공개했다. AI · 머신러닝 · Hunyuan-A13B Technical Report
Key Point MoE 구조로 큰 모델의 성능을 유지하면서 추론 비용을 대폭 줄였으므로, 제한된 리소스 환경에서 강력한 LLM을 배포하려는 개발자와 조직에 직접적인 대안이 된다.
핵심 요약
혼연(Hunyuan)이 80억 개 파라미터 중 추론 시 13억 개만 활성화하는 혼합 전문가(MoE) 구조의 대규모 언어모델 Hunyuan-A13B를 오픈소스로 공개했다. 모델은 20조 개 토큰으로 사전학습되었으며, STEM 데이터를 강화해 사실 정확성과 추론 능력을 개선했다. 고품질 지도학습 미세조정과 대규모 강화학습으로 성능을 더욱 끌어올렸다. 전체 요약 6문장 읽기 → 083 22:26 ▲ 13 · 댓글 2 로봇 시각-언어 모델의 안전성 강화, HJ 도달가능성 기반 셰일드VLA 제안 로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. AI · 머신러닝 · ShieldVLA: Feasibility-Aware Safety Alignment for Vision-Language-Action Models
Key Point 로봇 AI 모델의 안전성은 실제 배포 시 가장 중요한 과제이며, ShieldVLA는 기존 트레이드오프 방식을 근본적으로 개선하는 새로운 접근법을 제시한다.
핵심 요약
로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. 현재 방식은 라그랑주 최적화로 누적 비용에 소프트 페널티를 부과하는데, 이는 제약 위반이나 과도하게 보수적 행동을 초래하고 시각 도메인에서 단계별 안전 레이블이 없어 학습이 어렵다. Hamilton-Jacobi(HJ) 도달가능성에 기반한 ShieldVLA를 제안하며, 시각 관찰로부터 HJ 도달가능성 가치함수를 모델-프리 방식으로 근사하여 안전 작동 영역을 추정한다. 전체 요약 6문장 읽기 → 084 22:26 ▲ 19 · 댓글 2 LLM 에이전트의 추론 오류 자동 수정하는 세계 모델 LLM 에이전트는 장기 작업 수행 시 역사 정보 속 오래된 가정과 계획이 이후 결정을 왜곡하는 '작업 상태 오염' 문제를 겪는다. AI · 머신러닝 · Agent-Editing World Model: Rethinking World Modeling for LLM Agents
Key Point LLM 에이전트의 추론 오류를 자동으로 감지하고 수정하는 실용적 방법을 제시하며, 여러 복잡한 작업에서 일관된 성능 향상을 보여준다.
핵심 요약
LLM 에이전트는 장기 작업 수행 시 역사 정보 속 오래된 가정과 계획이 이후 결정을 왜곡하는 '작업 상태 오염' 문제를 겪는다. 기존 세계 모델은 도구 응답을 예측하지만, 실제 피드백이 있을 때는 제한적 가치를 가진다. Agent-Editing World Model(AEWM)은 도구 응답 시뮬레이션 대신 추론과 행동이 작업 진행을 어떻게 형성하는지 모델링한다. 전체 요약 8문장 읽기 → 085 22:29 ▲ 12 · 댓글 2 사전학습 로봇 정책을 강화학습으로 미세조정하는 PARTS 프레임워크 사전학습된 로봇 기초 정책은 장시간 작업의 대부분을 수행하지만 몇 가지 중요한 부분작업에서 반복 실패한다. AI · 머신러닝 · From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention
Key Point 로봇 매니퓰레이션 작업에서 사전학습 모델의 실패 부분만 효율적으로 개선하는 새로운 강화학습 접근법으로, 적은 인간 개입과 실제 데이터로 작업 성공률을 대폭 높일 수 있는 방법을 제시한다.
핵심 요약
사전학습된 로봇 기초 정책은 장시간 작업의 대부분을 수행하지만 몇 가지 중요한 부분작업에서 반복 실패한다. 추가 전체 작업 시연을 수집한 지도학습 미세조정은 정책이 이미 잘하는 행동 반복을 요구한다. 강화학습 미세조정은 희소 보상으로 장시간 작업을 푸는 기존 방식의 한계를 극복하기 위해 제시된다. 전체 요약 9문장 읽기 → 086 09:10 ▲ 102 · 댓글 26 무한 개수 가중치 생성하는 LLM 아키텍처 제안 정적 사전학습 데이터 대신 실시간 상호작용 데이터로부터 모델 가중치를 생성하는 '무한-파라미터 LLM'이 제안됐다. AI · 머신러닝 · Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
Key Point LLM이 배포 후 사용자 상호작용 데이터를 학습하는 방식의 근본적 전환을 제시해, 미세조정 없이 동적 적응을 추구하는 개발자와 연구자에게 새로운 설계 방향을 제공한다.
핵심 요약
정적 사전학습 데이터 대신 실시간 상호작용 데이터로부터 모델 가중치를 생성하는 '무한-파라미터 LLM'이 제안됐다. 하이퍼네트워크가 사용자 입력이나 정정 같은 런타임 데이터를 공유 기본 네트워크의 저랭크 변조로 변환해 가중치를 동적으로 생성한다. 베이지안 신념으로 생성기의 잠재 코드를 추적해 세션 진행 중 가중치를 재계산하므로, 한 번만 읽고 고정하던 방식과 달라진다. 전체 요약 5문장 읽기 → 087 06:10 ▲ 183 · 댓글 27 4B 모델로 PostgreSQL 쿼리 플랜 81% 성능 개선 연구자는 4B 파라미터 오픈웨이트 모델을 지도학습(SFT)과 강화학습(RL)으로 미세조정해 PostgreSQL 기본 쿼리 플랜을 능가하는 플랜을 생성하도록 훈련했다. AI · 머신러닝 · Training a 4B model to produce 81% faster query plans than Postgres
Key Point 쿼리 최적화라는 매우 어려운 데이터베이스 문제를 작은 규모의 LLM으로 해결 가능함을 실증함으로써, AI를 데이터베이스 성능 개선에 실무적으로 적용할 수 있는 방법을 제시한다.
핵심 요약
연구자는 4B 파라미터 오픈웨이트 모델을 지도학습(SFT)과 강화학습(RL)으로 미세조정해 PostgreSQL 기본 쿼리 플랜을 능가하는 플랜을 생성하도록 훈련했다. 113개의 조인 중심 쿼리에서 44.7% 레이턴시 감소를 달성했으며, 초기에 99개 쿼리를 실행할 수 없던 모델이 성공적으로 작동하게 되었다. 쿼리 최적화는 조인 순서 결정이 NP-하드 문제로 알려져 있을 정도로 어려우나, 실행 시간이라는 단일 목표로 LLM 학습을 최적화할 수 있음을 보여준다. 전체 요약 4문장 읽기 → 088 20:31 당일 +132 Unsloth, 로컬에서 LLM과 확산 모델 학습할 수 있는 데스크톱 앱 공개 로컬에서 LLM, 확산, 임베딩, 오디오 모델을 실행하고 학습할 수 있으며 Kimi K3, DeepSeek-V4, Gemma 4 등을 지원한다. AI · 머신러닝 · unslothai/unsloth · Python
Key Point 로컬 AI 모델 실행·학습을 간편하게 만드는 도구로서 개발자가 클라우드 비용 없이 자체 서버에서 LLM을 운영할 수 있게 해주는 점이 주목받고 있다.
핵심 요약
로컬에서 LLM, 확산, 임베딩, 오디오 모델을 실행하고 학습할 수 있으며 Kimi K3, DeepSeek-V4, Gemma 4 등을 지원한다. 미세조정 시 학습 속도를 2배 빠르게 하면서 VRAM 사용량을 70% 줄일 수 있고 LoRA, QLoRA, GRPO, DPO 등 다양한 훈련 방식을 지원한다. Tauri 기반 데스크톱 앱으로 제공되며 Windows, macOS, Linux 등 여러 플랫폼을 지원하고 Cloudflare를 통한 원격 접근도 가능하다.