쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 17일 (화)까지 4750건
9건 · "표현학습"조건 지우기 ×
001 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 002 09:11 ▲ 103 · 댓글 56 다양한 감각의 AI가 같은 세계를 본다는 증명 Yann LeCun과 Randall Balestriero는 '플라톤적 표현 가설(PRH)'을 증명하는 논문을 발표했다. 가설은 여러 모달리티(영상, 텍스트 등)로 학습한 AI 모델들이 스케일을 늘리면 같은 세계 표현에 수렴한다는 것이다. AI · 머신러닝 · Proving and improving the Platonic Representation Hypothesis with JEPAs
Key Point 서로 다른 모달리티 모델들이 같은 표현에 수렴한다는 오랜 추측을 수학적으로 증명하면서, 언어 모델이 비전과 정렬되는 방식의 근본적 차이를 밝혔고, 스케일보다 학습 데이터 품질이 중요함을 입증했다.
핵심 요약
Yann LeCun과 Randall Balestriero는 '플라톤적 표현 가설(PRH)'을 증명하는 논문을 발표했다. 가설은 여러 모달리티(영상, 텍스트 등)로 학습한 AI 모델들이 스케일을 늘리면 같은 세계 표현에 수렴한다는 것이다. 저자들은 '플라톤적 표현 정리(Platonic Representation Theorem)'를 증명했다. 결합 임베딩 예측 아키텍처(JEPA)가 서로 다른 모달리티로 학습될 때, 긍정 쌍이 같은 장면의 두 관찰('좋은 뷰')이고 오정렬이 제한되면 회전을 제외하고 동일한 표현을 학습한다는 뜻이다. 다음 토큰 예측(언어 모델의 기본 방식)은 나쁜 뷰(한 문서의 일부)를 사용하는 JEPA로, 이는 언어 모델이 스케일을 통해서만 비전과 정렬되는 이유를 설명한다. 전체 요약 8문장 읽기 → 003 06:11 ▲ 60 · 댓글 4 서로 다른 모달리티도 같은 표현으로 수렴한다는 가설을 증명했다 여러 모달리티로 학습한 AI 모델들이 결국 같은 세계 표현에 도달하는지 묻는 플라톤 표현 가설(PRH)을 수학적으로 증명했다. AI · 머신러닝 · Proving and Improving the Platonic Representation Hypothesis with JEPAs
Key Point 다양한 모달리티 간 표현 정렬의 핵심 메커니즘을 수학적으로 입증했으며, 규모보다는 학습 방식의 질이 중요함을 보여주므로 멀티모달 AI 개발 방향에 직접 영향을 미친다.
핵심 요약
여러 모달리티로 학습한 AI 모델들이 결국 같은 세계 표현에 도달하는지 묻는 플라톤 표현 가설(PRH)을 수학적으로 증명했다. 공동 임베딩 예측 아키텍처(JEPA)를 여러 모달리티로 따로 학습하면, 긍정 쌍이 같은 장면의 두 관찰('좋은 뷰')일 때 회전을 제외한 동일한 표현을 학습한다는 정리를 증명했다. 다음 토큰 예측은 나쁜 뷰(한 문서의 일부)를 가진 JEPA이며, 이것이 언어 모델이 규모 확대를 통해서만 비전과 정렬되는 이유를 설명한다. 전체 요약 8문장 읽기 → 004 06:11 ▲ 11 · 댓글 3 언어모델 학습, 중간 계산 구조까지 모방하는 방식 제시 기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다. AI · 머신러닝 · OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
Key Point 출력 공간의 감독을 넘어 모델의 내부 계산 구조를 직접 전이하는 새로운 증류 방식으로, 학생 모델의 추론 능력과 학습 효율을 근본적으로 향상시키는 접근법입니다.
핵심 요약
기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다. 표현 매칭 같은 단순한 중간 계층 증류는 불충분한데, 교사와 학생의 표현이 기하학적으로 다를 수 있고 정렬된 은닉 상태도 학생의 후속 계산에 사용 불가능할 수 있기 때문이다. 연구진은 온폴리시 메커니즘 증류(OPMD)를 제안하여, 학생이 실제로 사용 가능하도록 교사 표현을 학생의 중간 상태로 변환하는 학생 호환 교사를 먼저 구축한다. 전체 요약 6문장 읽기 → 005 00:11 ▲ 11 · 댓글 1 다른 언어모델 간 심볼 공유로 학습 없이 정보 전달 다중 에이전트 시스템에서 언어모델들이 협업할 때 내부 상태를 공유하려면 보통 학습된 번역기나 모델 호환성 가정이 필요하다. AI · 머신러닝 · Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models
Key Point 언어모델 멀티에이전트 시스템에서 학습이나 전용 번역기 없이도 다양한 모델 아키텍처 간 정보를 정확하게 전달할 수 있는 단순하고 확장 가능한 방법이 제시됐다.
핵심 요약
다중 에이전트 시스템에서 언어모델들이 협업할 때 내부 상태를 공유하려면 보통 학습된 번역기나 모델 호환성 가정이 필요하다. SYNC(Symbol-Indexed Neural Communication)는 공유 단어 리스트의 인덱스를 주고받는 방식으로 세밀 조정 없이 이질적인 모델들을 연결한다. 발신 모델은 질문을 보지 않고 자신이 볼 수 있는 설명만으로 객체마다 단어를 선택해 인덱스를 보내고, 수신 모델은 자신의 활성화에서 한 번 계산한 단어 방향 벡터를 이용해 숨겨진 상태에 사실을 기록한다. 전체 요약 10문장 읽기 → 006 15:11 ▲ 10 · 댓글 2 인간 영상만으로 로봇 학습 성능 68% 높여 World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다. AI · 머신러닝 · Learning Transferable World-Action Models from Task-Paired Human Videos
Key Point 인간 영상만으로 로봇 모방 학습을 68% 향상시키는 기법이 제시되어, 비용이 큰 로봇-인간 쌍 데이터 수집을 건너뛸 수 있는 실질적 경로를 제공한다.
핵심 요약
World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다. 연구팀이 WATCH라는 크로스 영상 사전학습을 제안했으며, 다양한 환경에서 수집한 작업 쌍의 인간 시연 영상으로 학습한다. 한 시연 영상과 행동을 조건으로 다른 시연 영상의 행동과 미래 프레임을 동시에 예측하도록 훈련해, 작업 관련 상호작용이 장면과 시연자를 넘어 전이되도록 유도한다. 전체 요약 6문장 읽기 → 007 18:30 ▲ 12 · 댓글 2 세계모델의 핵심 정보를 압축 저장하는 ALeWM 기법 JEPA 기반의 세계모델인 ALeWM(Adaptive LeWorldModel)을 제안한 논문으로, 넓은 잠재공간의 앞부분에 예측에 필요한 정보를 집중시키는 방식을 소개한다. AI · 머신러닝 · Adaptive Latent Capacity for World Models
Key Point 예측 불필요한 정보를 제거하고 필요한 정보만 압축 저장함으로써 세계모델의 효율성과 계획 능력을 동시에 높이는 방법을 제시한다.
핵심 요약
JEPA 기반의 세계모델인 ALeWM(Adaptive LeWorldModel)을 제안한 논문으로, 넓은 잠재공간의 앞부분에 예측에 필요한 정보를 집중시키는 방식을 소개한다. ALeWM은 접두사(prefix) 길이에 대한 수열 조건부 분포를 학습하고, 샘플링된 입력 접두사로부터 다음 임베딩 전체를 추정하도록 예측기를 훈련한다. 기존 붕괴 방지 목적함수들은 잠재 좌표 전체에 걸친 변동만 유도하고 예측 중요도에 따라 정렬하지 않는 문제를 해결하기 위해, MixSIGReg이라는 새로운 정규화 기법을 도입했다. 전체 요약 7문장 읽기 → 008 18:11 ▲ 51 · 댓글 2 물리 방정식 학습에 예측 기반 표현 학습 도입 매개변수 편미분방정식(PDE) 표현 학습에서 기존 재구성 기반 목표보다 예측 기반 표현 사전학습이 더 나은 물리 정보를 보존하는지 검토했습니다. AI · 머신러닝 · PDE-JEPA: Predictive Representation Learning of Latent Dynamics Modeling for Parametric PDEs
Key Point 물리 시뮬레이션과 과학 계산이 필요한 분야에서 일반화 능력이 뛰어난 신경망 기반 PDE 솔버 개발의 핵심 진전입니다.
핵심 요약
매개변수 편미분방정식(PDE) 표현 학습에서 기존 재구성 기반 목표보다 예측 기반 표현 사전학습이 더 나은 물리 정보를 보존하는지 검토했습니다. 예측 표현만으로는 정확한 필드 진화가 보장되지 않는다는 관찰을 기반으로 PDE-JEPA 프레임워크를 제안했습니다. 먼저 마스크된 잠재 예측을 사용해 인코더를 학습하여 PDE 동역학의 기저 규칙을 포착합니다. 전체 요약 6문장 읽기 → 009 12:11 ▲ 276 · 댓글 3 강화학습 모델을 학생 모델에 가르치는 새로운 방식, 표현층에서 직접 학습 기존 온-폴리시 디스틸레이션(OPD)은 학생 모델이 자신의 궤적 위에서 교사의 다음 토큰 분포를 모방하도록 훈련하며, 출력 공간에서 암묵적 보상을 외삽하여 교사를 능가하게 할 수 있다. AI · 머신러닝 · The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
Key Point 모델 증류에서 강화학습의 효과를 더 효율적으로 전달하는 새로운 방법이 제시되어, 더 작은 모델로도 큰 모델 수준의 성능을 얻을 수 있는 경로를 열어준다.
핵심 요약
기존 온-폴리시 디스틸레이션(OPD)은 학생 모델이 자신의 궤적 위에서 교사의 다음 토큰 분포를 모방하도록 훈련하며, 출력 공간에서 암묵적 보상을 외삽하여 교사를 능가하게 할 수 있다. 그러나 언어모델 헤드는 이 변화를 비등방적으로 감쇠시키며, 교사 은닉층에 인코딩된 대부분의 변화가 로짓에는 작은 가중치로만 도달하고, 출력 공간 외삽이 의존하는 샘플 토큰 로그확률 비율은 훈련 불안정성을 초래하는 노이즈를 증폭시킨다. 연구진은 강화학습이 모델의 내부 표현을 기본 체크포인트에서 변화시키고, 이 변화의 방향을 모든 층에서 측정할 수 있음을 관찰했다. 전체 요약 7문장 읽기 →