쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 22일 (일)까지 5067건
4건 · "V-JEPA"조건 지우기 ×
001 21:10 ▲ 25 · 댓글 2 영상의 움직임을 읽는 비디오-언어 모델 V-JEPA-LM V-JEPA 같은 월드 모델 인코더는 비디오에서 장면의 변화(방향, 속도, 순서, 상태)를 학습하지만, 캡션과 QA 쌍으로 훈련한 언어 모델과 결합되면 텍스트에 정렬된 속성만 추출하고 동역학(dynamics) 정보를 활용하지 못한다. AI · 머신러닝 · V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations
Key Point 기존 비디오-언어 모델이 버리고 있던 동역학 정보를 활용해 더 적은 데이터와 계산으로 최고 성능을 달성한 접근법의 핵심 메커니즘과 구체적 성능 향상을 보여주기 때문.
핵심 요약
V-JEPA 같은 월드 모델 인코더는 비디오에서 장면의 변화(방향, 속도, 순서, 상태)를 학습하지만, 캡션과 QA 쌍으로 훈련한 언어 모델과 결합되면 텍스트에 정렬된 속성만 추출하고 동역학(dynamics) 정보를 활용하지 못한다. 논문은 고정된 V-JEPA 특성에서 선형 프로브로 속도를 87% 정확도로 읽을 수 있지만, VLM은 무작위 수준(50%)으로 답하는 현상을 보여준다. 동역학 정보는 V-JEPA 같은 예측형 인코더에서는 비디오 전체에 공유된 부분공간에 존재하지만, SigLIP 같은 프레임별 텍스트 정렬 인코더에서는 공유 성분으로 존재하지 않는다. 전체 요약 8문장 읽기 → 002 00:11 ▲ 26 · 댓글 1 비디오 세계 모델의 예측 오차, 물리적 놀라움을 재대로 측정하지 못한다 비디오 생성 AI의 예측 오차는 물리적으로 불가능한 사건을 감지하는 지표로 사용되지만, 실제로는 물체 색상·모양 변화나 일반적인 예측 어려움도 함께 반영된다. AI · 머신러닝 · When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?
Key Point 비디오 AI가 물리 법칙을 이해한다고 판단하는 기준(예측 오차)이 실제로는 색상·모양 변화에도 반응해 신뢰성이 낮다는 점을 밝혀, 세계 모델 평가 방식의 재검토가 필요함을 보여준다.
핵심 요약
비디오 생성 AI의 예측 오차는 물리적으로 불가능한 사건을 감지하는 지표로 사용되지만, 실제로는 물체 색상·모양 변화나 일반적인 예측 어려움도 함께 반영된다. 연구팀은 고정된 표현이 무엇을 담고 있는지, 물리적 변화와 겉모습 변화를 어떻게 구별하는지, 모델의 예측 오차를 무엇이 변화시키는지 분리해 평가하는 프레임워크를 개발했다. IntPhys2 벤치마크에서 V-JEPA2 모델을 포함한 여러 표현(잠재 예측, 마스킹된 픽셀 재구성, 시각 통계)을 비교한 결과, 물리적 가능성·불가능성에 대한 정보는 적게 포함했다. 전체 요약 8문장 읽기 → 003 15:11 ▲ 26 · 댓글 2 세 가지 능력을 하나로 담은 시각 인코더 ALPS 공개 World models의 시각적 기초로서 물리 상태 정보, 자연어 정렬, 픽셀 재구성을 모두 지원해야 한다는 주장에서 출발한 연구이다. AI · 머신러닝 · ALPS: Visual State Encoders for World Models
Key Point 월드 모델의 비전 백본이 예측, 제어, 검증을 모두 지원할 수 있는 통합 인코더를 처음 제시하여 로봇 학습 파이프라인의 설계 방식을 바꿀 수 있다.
핵심 요약
World models의 시각적 기초로서 물리 상태 정보, 자연어 정렬, 픽셀 재구성을 모두 지원해야 한다는 주장에서 출발한 연구이다. 기존 인코더는 이 세 가지 중 하나나 둘만 담당하는 반면, ALPS는 ViT-B/16 기반 프리트레인된 시각 상태 인코더로 세 능력을 모두 통합한다. 정지 이미지와 텍스트만 사용하여 언어, 재구성, 공간적 대응 목표로 처음부터 학습한 후 교차 뷰 자기 증류로 미세 조정했다. 전체 요약 7문장 읽기 → 004 00:11 ▲ 13 · 댓글 3 동작 중심 영상 학습, 시간축 분리로 효율성 확보 영상 자가학습에서 아키텍처와 목적함수, 데이터, 학습 일정 등 여러 요소가 동시에 변해 동작 우선 표현 학습의 효과를 명확히 파악하기 어려운 점을 지적한다. AI · 머신러닝 · TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining
Key Point 시간과 공간을 분리해 동작 학습을 효율화하는 새로운 방식이 기존 방법보다 훨씬 빠르면서 동시에 여러 벤치마크에서 큰 폭의 성능 향상을 달성했기 때문이다.
핵심 요약
영상 자가학습에서 아키텍처와 목적함수, 데이터, 학습 일정 등 여러 요소가 동시에 변해 동작 우선 표현 학습의 효과를 명확히 파악하기 어려운 점을 지적한다. 이를 해결하기 위해 약 170M~190M 인코더 규모로 24가지 아키텍처-목적함수 조합을 통제된 조건에서 비교했다. TT-VidT는 DINOv3으로 초기화한 ViT-B/16 공간 경로와 컴팩트 Temporal Transfer Layer를 조합하고, Diff Compression 목적함수로 첫 프레임 외형 정보와 프레임별 동작 토큰으로부터 타겟 프레임을 재구성하도록 학습한다. 전체 요약 7문장 읽기 →