쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
13건 · "잠재 공간"조건 지우기 ×
001 18:11 ▲ 13 · 댓글 2 다중 에이전트 협력을 위한 추상적 '마음 이론'을 잠재 공간에서 학습 다중 에이전트 협력에서 정확한 마음 이론(Theory-of-Mind, ToM)을 형성하려면 여러 파트너 상태를 동시에 추론해야 하는데, LLM 에이전트의 텍스트 표현으로는 하나의 상태만 효과적으로 표현되는 문제가 있다. AI · 머신러닝 · ToM2Vec: Continuous Theory-of-Mind Tokens for Multi-Agent Coordination
Key Point LLM 기반 멀티에이전트 시스템에서 파트너의 의도를 정확히 파악해야 하는 협력 작업에 새로운 접근법을 제시하며, 잠재 공간 추론이 텍스트보다 효과적임을 실증적으로 보여준다.
핵심 요약
다중 에이전트 협력에서 정확한 마음 이론(Theory-of-Mind, ToM)을 형성하려면 여러 파트너 상태를 동시에 추론해야 하는데, LLM 에이전트의 텍스트 표현으로는 하나의 상태만 효과적으로 표현되는 문제가 있다. 이를 해결하기 위해 ToM2Vec을 제안했으며, 이는 고정된 예산의 연속 추론 토큰을 통해 풍부한 잠재 공간에서 추상적인 마음 이론을 학습한다. 학습 중에는 파트너의 실제 생각을 감독 신호로 사용하여 ToM 토큰이 이를 추상화하고 일치시키도록 훈련된다. 전체 요약 8문장 읽기 → 002 21:11 ▲ 24 · 댓글 2 최소한의 촬영으로 4K 급 입체 영상 생성하는 RealMe 기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다. AI · 머신러닝 · RealMe: Immersive Volumetric Video from Minimal Captures
Key Point 저예산 촬영 환경에서도 고품질 입체 영상을 만들 수 있는 방식이 나왔고, 시간-공간 일관성 문제를 처음으로 체계적으로 해결했기에 활용 가능한 응용 범위가 크게 넓어진다.
핵심 요약
기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다. 논문은 이를 해결하는 통합 프레임워크 RealMe를 제안하는데, 고해상도 비디오 확산 모델을 중심으로 제한된 촬영 데이터를 2K 해상도의 4D 일관성 있는 영상으로 향상시킨다. RealMe는 촬영 영상에서 보조 데이터를 만들어 잠재 벡터로 인코딩하고, 위치 임베딩을 함께 처리해서 비디오 확산 모델에 입력한다. 전체 요약 6문장 읽기 → 003 15:11 ▲ 43 · 댓글 3 로봇 행동 예측 AI, 시각 정보 처리 30배 효율화 기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다. AI · 머신러닝 · BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
Key Point 로봇 행동 모델의 계산 효율을 대폭 개선하면서 성능은 유지하는 기술로, 로봇 제어 AI의 실시간성과 비용 효율성을 높이는 방향을 제시한다.
핵심 요약
기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다. BridgeWAM은 시각·언어·고유감각 정보를 32개의 Latent Bridge Queries(LBQs)를 통해 제한된 공유 잠재 공간으로 집약하는 Bridge-of-Experts 구조를 도입했다. 행동 예측 그래디언트가 비디오 전문가를 행동 예측에 적합한 표현으로 유도하고, 행동 전문가는 교차 주의를 통해 작업 관련 정보를 선택적으로 검색한다. 전체 요약 7문장 읽기 → 004 09:11 ▲ 158 · 댓글 97 텍스트와 잠재 공간을 넘나드는 하이브리드 추론 에이전트 기존 LLM 에이전트는 추론과 상호작용을 모두 텍스트로 처리하는데, 효율적인 내부 추론 방식(잠재 공간 추론)과 도구 접근성 사이의 불균형이 있다. AI · 머신러닝 · Hybrid Reasoning Agents: LLM agents that think in latent space, act through text
Key Point 텍스트만으로 처리하던 LLM 에이전트의 비효율성을 내부 잠재 추론과 외부 텍스트 상호작용으로 분리해 대폭적인 속도와 비용 개선을 달성한 새로운 에이전트 아키텍처이다.
핵심 요약
기존 LLM 에이전트는 추론과 상호작용을 모두 텍스트로 처리하는데, 효율적인 내부 추론 방식(잠재 공간 추론)과 도구 접근성 사이의 불균형이 있다. HybridAgents는 하나의 생성 과정 내에서 잠재 추론과 텍스트 기반 상호작용을 동적으로 전환하는 구조를 제시한다. HybridLink라는 경량 모듈이 텍스트와 잠재 모드 간 원활한 전환을 가능하게 하며, 지속적인 작업 메모리가 여러 턴에 걸쳐 손실 없는 하이브리드 문맥을 유지한다. 전체 요약 9문장 읽기 → 005 18:11 ▲ 54 · 댓글 2 로봇 제어 성능 높이는 'VLA-Δ' 프레임워크 공개 Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. AI · 머신러닝 · VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models
Key Point 로봇 제어 분야의 VLA 모델이 물리적 상태 변화를 명시적으로 학습하는 새로운 접근으로 기존 과적합 문제를 해결하고 성능을 향상시킨 점이 중요하다.
핵심 요약
Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. 기존 방법들은 언어·시각·잠재 공간에서 중간 추론이나 미래 상태 예측을 도입했으나, 실제 물리적 상태 전환 자체는 명시적으로 학습하지 않았다. 연구팀은 현재 상태와 미래 상태 간 물리적 변화를 직접 학습 목표로 삼는 VLA-Δ 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 006 15:11 ▲ 28 · 댓글 2 텍스트와 잠재 공간을 넘나드는 하이브리드 추론 에이전트 현대 LLM 에이전트는 텍스트로만 추론하고 상호작용하지만, 잠재 공간 추론은 효율적이면서도 도구 접근과 추론 투명성이 부족한 문제를 해결하기 위해 하이브리드 추론 에이전트(HybridAgent)가 제안됐다. AI · 머신러닝 · Hybrid Reasoning Agents
Key Point LLM 에이전트의 추론 효율성과 투명성을 동시에 높이는 새로운 아키텍처로, 토큰 절감과 속도 개선이 이미 검증된 실질적인 개선 방안이다.
핵심 요약
현대 LLM 에이전트는 텍스트로만 추론하고 상호작용하지만, 잠재 공간 추론은 효율적이면서도 도구 접근과 추론 투명성이 부족한 문제를 해결하기 위해 하이브리드 추론 에이전트(HybridAgent)가 제안됐다. HybridAgent는 통합 생성 프로세스 내에서 잠재 추론과 텍스트 기반 상호작용을 동적으로 전환하며, 가벼운 HybridLink가 두 모드 간 seamless한 전환을 가능케 한다. 에이전트의 지속적 작업 메모리는 다중 턴에서 손실 없는 하이브리드 컨텍스트를 유지하고, 도구 통합 기능을 보존하면서도 잠재 사고(latent thoughts)를 직접 검사할 수 있도록 설계됐다. 전체 요약 6문장 읽기 → 007 00:11 ▲ 12 · 댓글 2 GUI 에이전트의 지연 세계 행동 모델 기존 픽셀 기반 세계 모델은 GUI 에이전트에서 미래 화면을 생성한 뒤 재인식하는 두 단계 방식을 사용하지만, 화면 재구성의 높은 연산 비용과 행동 선택에 불필요한 세부 정보 재구성 문제가 있다. AI · 머신러닝 · Latent World Action Model for GUI Agents
Key Point 픽셀 재구성 대신 잠재 공간에서 행동 유도 변화를 예측함으로써 GUI 에이전트의 성공률을 40% 이상 높이고 추론 속도를 거의 100배 개선하는 새로운 접근법이다.
핵심 요약
기존 픽셀 기반 세계 모델은 GUI 에이전트에서 미래 화면을 생성한 뒤 재인식하는 두 단계 방식을 사용하지만, 화면 재구성의 높은 연산 비용과 행동 선택에 불필요한 세부 정보 재구성 문제가 있다. 현재 상태를 거의 그대로 보존하는 '항등성 단축' 문제가 발생해 행동으로 인한 변화를 제대로 포착하지 못한다. 본 논문은 GUI 세계 모델링을 전체 화면 재구성에서 행동 유도 미래 정보의 잠재 공간 예측으로 재정의했다. 전체 요약 8문장 읽기 → 008 18:11 ▲ 30 · 댓글 2 GUI 에이전트의 경험 활용, '적절성'이 핵심 개인 GUI 에이전트는 사용자 지시를 이해하고 반복 작업을 예측하기 위해 과거 상호작용 기록을 활용합니다. AI · 머신러닝 · Relevance Does Not Imply Applicability: Experience Activation for Personal GUI Agents
Key Point 과거 기록의 '관련성'이 아닌 '적절성'에 초점을 맞춰 GUI 에이전트의 개인화 성능을 크게 개선한 방법론으로, 맥락 인식이 중요한 AI 에이전트 설계에 새로운 관점을 제시합니다.
핵심 요약
개인 GUI 에이전트는 사용자 지시를 이해하고 반복 작업을 예측하기 위해 과거 상호작용 기록을 활용합니다. 기존 방식은 작업 관련 기록을 모두 검색해 정책 컨텍스트에 추가하지만, 이 기록은 에피소드 첫 단계에서만 큰 도움이 되고 나머지 90% 단계에서는 거의 효과가 없다는 문제가 있습니다. 문제의 근본 원인은 '적절성이 결정되지 않은 채 관련성만 판단'되기 때문입니다: 관련성은 작업 수준에서 판단되지만, 적절성은 실제 상황과 의사결정 시점에 따라 결정됩니다. 전체 요약 8문장 읽기 → 009 18:12 ▲ 20 · 댓글 2 다양한 이미지 생성 모델을 하나로 연결하는 InstantFusion Diffusion/Flow 기반 이미지 생성 모델들이 다양해지면서 서로 다른 아키텍처와 표현방식을 가지게 되었으나, 모델 간 잠재 표현의 정렬과 디노이징 과정의 일관성에 대한 연구는 부족했다. AI · 머신러닝 · InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
Key Point 서로 다른 이미지 생성 모델들을 하나의 인터페이스로 통일하면 생성 파이프라인 최적화와 모델 재사용성이 크게 향상될 수 있기 때문입니다.
핵심 요약
Diffusion/Flow 기반 이미지 생성 모델들이 다양해지면서 서로 다른 아키텍처와 표현방식을 가지게 되었으나, 모델 간 잠재 표현의 정렬과 디노이징 과정의 일관성에 대한 연구는 부족했다. 연구팀은 독립적으로 학습된 생성 모델들이 비슷한 잠재 공간 구조를 갖고 있으며, 정렬되지 않은 모델 간에도 중간 상태를 직접 전달하면 기본적인 시각 정보가 유지된다는 흥미로운 호환성을 발견했다. 이를 바탕으로 InstantFusion이라는 경량 공유 잠재 인터페이스를 제안했으며, 이는 서로 다른 구조의 이미지 생성 모델들의 디노이징 과정을 연결한다. 전체 요약 7문장 읽기 → 010 18:12 ▲ 17 · 댓글 2 잠재 공간에서 보상 모델링, 추론 비용 6배 이상 절감 현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다. AI · 머신러닝 · Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression
Key Point 보상 모델은 LLM 정렬의 핵심인데, 기존 방식이 추론 시간을 6배 이상 줄일 수 있다면 생성형 AI 개발의 경제성을 크게 높일 수 있다.
핵심 요약
현재 보상 모델링은 평가 기준을 토큰 단위로 생성하는 과정에서 높은 추론 비용이 발생한다. LatentGRM은 의미 청킹·압축·재구성 기반의 잠재 평가 프레임워크로, 평가 루브릭 구조를 활용해 압축을 유도한다. 텍스트 평가 생성 없이 연속적 잠재 궤적만으로 페어별 판단을 수행하며, 별도 인터프리터가 평가 텍스트를 재구성한다. 전체 요약 6문장 읽기 → 011 06:11 ▲ 14 · 댓글 2 픽셀 공간 확산 모델, 잠재 공간 모델과 동등한 성능 보여 픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. AI · 머신러닝 · Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
Key Point 픽셀 공간 확산 모델이 세밀한 디테일 작업에서 잠재 공간 모델을 이길 것이라는 기대와 달리 실제로는 동등한 성능만 낸 이유를 알 수 있고, 픽셀 공간 사전학습의 한계와 가능성을 실증적으로 보여준다.
핵심 요약
픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. 3B 매개변수 규모의 Iris-3B 픽셀 공간 텍스트-이미지 트랜스포머를 256→512→1024 커리큘럼으로 처음부터 학습했고, 또한 FLUX.2 Klein 4B 잠재 모델을 픽셀 공간으로 변환했다. 두 모델 모두 단안 깊이 추정과 이미지 복원/초해상화 작업에 미세조정했으나, 픽셀 공간 생성 사전에서 의미 있는 성능 향상을 발견하지 못했다. 전체 요약 6문장 읽기 → 012 18:33 ▲ 10 · 댓글 1 LLM이 숨겨진 공간에서 추론하는 법, Flow Matching으로 풀다 LLM이 연속 공간에서 사고하고 최종 답만 출력하는 잠재 추론(Latent Reasoning)에서 효과적인 잠재 사고는 5가지 조건을 만족해야 한다. AI · 머신러닝 · What Matters for Latent Reasoning with Flow Matching
Key Point LLM이 내부에서 복잡한 추론을 수행하면서도 빠른 속도를 유지하는 새로운 방식의 설계 원칙을 제시해, 추론 효율성과 성능의 트레이드오프를 다루는 핵심 기준이 될 수 있습니다.
핵심 요약
LLM이 연속 공간에서 사고하고 최종 답만 출력하는 잠재 추론(Latent Reasoning)에서 효과적인 잠재 사고는 5가지 조건을 만족해야 한다. 유용성: 올바른 답을 생성하되 단순히 바꾸지 않아야 함, 다양성: 재샘플링으로 다른 추론 경로가 나와야 함, 설명성: 디코딩한 사고의 연쇄(CoT)가 실제 추론을 반영해야 함, 개선성: 추론 계산을 늘려 성능을 높일 수 있어야 함, 효율성: 명시적 CoT 대비 비슷한 정확도에서 낮은 지연시간을 가져야 함. 기존 방법들은 이 요구사항을 거의 충족하지 못하는데, 질문에서 지름길을 배우거나 명시적 CoT를 가중치로 증류하거나 토큰 단위로 모방하는 문제가 있다. 전체 요약 7문장 읽기 → 013 18:11 ▲ 21 · 댓글 1 다양한 휴머노이드 로봇에 공유 제어 공간 구축 Behavior Foundation Models(BFM)는 잠재 행동 공간을 통해 로봇이 모션 모방, 포즈 도달, 보상 최대화를 하나의 벡터로 표현하게 한다. AI · 머신러닝 · CrossBFM: Distilling a Shared Latent Behavior Space Across Humanoid Embodiments
Key Point 여러 로봇 간 재훈련 없이 제어 정책을 공유 가능하게 만들어 AI 로봇 개발의 훈련 비용을 크게 절감하고, 새로운 로봇 형태로 빠르게 적응할 수 있는 기술 경로를 제시한다.
핵심 요약
Behavior Foundation Models(BFM)는 잠재 행동 공간을 통해 로봇이 모션 모방, 포즈 도달, 보상 최대화를 하나의 벡터로 표현하게 한다. 기존 Forward-Backward 방식은 이러한 공간을 생성하지만 단일 로봇당 수백 GPU시간이 필요하고, 다른 로봇에 재적용하면 호환되지 않는 별도의 공간이 생긴다. CrossBFM은 잠재 공간 자체를 여러 로봇 간 이전 가능한 자산으로 취급하여, 모션 재타겟팅의 프레임 단계 대응을 활용한다. 전체 요약 7문장 읽기 → 
