쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3647건
3건 · "학습 방법론"조건 지우기 ×
001 15:11 ▲ 18 · 댓글 2 시각 모델도 '다각도로 생각한다'…공간 추론 학습법 제시 인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다. AI · 머신러닝 · SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
Key Point 거대 비전-언어 모델이 공간 추론 시 인간처럼 다각도 사고를 할 수 있도록 만드는 실질적인 학습 방법론을 제시해 모델 기반 시각 이해의 한계를 구체적으로 개선한다.
핵심 요약
인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다. 연구팀은 이를 '능동적 공간 심상화(Active Spatial Mentalization, ASM)'라 정의하고, LVLM에 이 능력을 내재화하는 SpatialASM 프레임워크를 제시했다. SpatialASM은 학습 단계에서 시뮬레이션된 다양한 시점으로 학습하며, 할로센트릭(allocentric) 뷰 생성 모델을 사용해 가설적 시점을 실제 시각 데이터에 근거하게 한다. 전체 요약 6문장 읽기 → 002 15:11 ▲ 15 · 댓글 1 학생 정책 궤적에 맞춘 교사 모델 적응 방식 제안 온-폴리시 증류(OPD)는 학생이 자신의 정책으로 생성한 궤적에서 교사의 감독을 받으며 학습하는 사후 학습 패러다임으로, 학생이 생성한 궤적은 학생에게는 온-폴리시이지만 교사에게는 오프-폴리시라는 근본적 비대칭성을 가진다. AI · 머신러닝 · On the Off-Policy Teacher in On-Policy Distillation
Key Point 온-폴리시 증류는 모델 사후 학습의 새로운 방식으로 주목받는데, 학생과 교사의 정책 분포 불일치 문제를 체계적으로 분석하고 해결하는 구체적 방법을 제시합니다.
핵심 요약
온-폴리시 증류(OPD)는 학생이 자신의 정책으로 생성한 궤적에서 교사의 감독을 받으며 학습하는 사후 학습 패러다임으로, 학생이 생성한 궤적은 학생에게는 온-폴리시이지만 교사에게는 오프-폴리시라는 근본적 비대칭성을 가진다. 교사는 자신의 정책으로 생성한 접두사에서 연속 생성하도록 최적화되어 있으나, OPD 중에는 학생이 생성한 접두사에서 감독해야 하므로 접두사가 길어질수록 성능이 저하된다. 이를 해결하기 위해 연구팀은 SCOUT(Student-COnditioned Updates of the Teacher)라는 공동 학습 프레임워크를 제안했다. 전체 요약 6문장 읽기 → 003 09:10 ▲ 108 · 댓글 61 매직, 1조 파라미터 모델을 10배 저비용으로 학습하는 기법 공개 Magic은 계산 효율을 10배 이상 개선한 사전학습 방법론을 발표했으며, DeepSeek V4 Pro Base와 동등한 성능을 GPT-3 학습량의 약 절반인 약 50배 적은 연산으로 달성했다. AI · 머신러닝 · Compute-efficient pretraining and scaling to trillion-parameter models
Key Point 알고리즘 효율성으로 대규모 모델을 저비용에 훈련하는 것이 가능함을 입증한 첫 구체적 사례로, 개발 리소스가 제한된 팀의 모델 개발 전략을 바꿀 수 있다.
핵심 요약
Magic은 계산 효율을 10배 이상 개선한 사전학습 방법론을 발표했으며, DeepSeek V4 Pro Base와 동등한 성능을 GPT-3 학습량의 약 절반인 약 50배 적은 연산으로 달성했다. 추가로 10배 규모로 확장한 모델(약 $4M 비용)은 퍼플렉시티 평가에서 공개된 모든 오픈 기본 모델을 능가했으며, 동일 성능을 DeepSeek의 방식으로 훈련하려면 $100M 이상이 소요된다. 모델 아키텍처, 최적화기, 학습 목표, 데이터 큐레이션 등 수십 가지 변경 사항이 누적되어 효율성을 달성했으며, 작은 모델에서 효과 있는 기법이 대규모 모델에서는 작동하지 않는 경우도 발견했다. 전체 요약 5문장 읽기 → 
