쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3647건
2건 · "3D 이해"조건 지우기 ×
001 09:11 ▲ 10 · 댓글 1 3D 구조를 살린 옥트리 기반 언어모델 OctLLM 기존 3D LLM은 3차원 형태를 부호화 지수나 텍스트 좌표로 압축해 공간 정보를 손실하고, 백본을 미세조정해 언어 능력을 훼손하는 두 가지 문제를 안고 있다. AI · 머신러닝 · Octrees as an Explicit 3D Language
Key Point 3D 데이터의 공간 구조를 손상시키지 않으면서도 기존 언어모델의 능력을 보존하는 멀티모달 LLM 설계 방식이 기존 기법들보다 우수한 성능을 달성했기 때문에 3D AI 모델 개발에 관심 있는 연구자와 실무자에게 참고할 만한 접근법을 제시한다.
핵심 요약
기존 3D LLM은 3차원 형태를 부호화 지수나 텍스트 좌표로 압축해 공간 정보를 손실하고, 백본을 미세조정해 언어 능력을 훼손하는 두 가지 문제를 안고 있다. OctLLM은 3D 데이터를 옥트리 점유 토큰의 명시적 3D 시퀀스로 입력받으면서도, 끝에서 두 번째 수준의 노드를 무작위로 비우고 자손을 생략해 형태를 보존한 Sparse Octree(S-Octree)로 단축해 위치 인식 마스크 모델링과 3D 이해를 지원한다. 3D 모달리티를 추가할 때 전체 미세조정이나 LoRA 대신, 메시 토큰을 블록의 일부에서 독립적인 학습 가능 브랜치로 라우팅하면서 텍스트와 이미지 토큰은 고정된 비전-언어 경로를 유지하고, 두 스트림이 공유 자기주의를 통해 상호작용하도록 설계했다. 전체 요약 4문장 읽기 → 002 15:11 ▲ 53 · 댓글 1 MLLM도 3D 상상력이 필요하다 - 다중뷰 이해의 새 방법 멀티모달 LLM(MLLM)이 다중 이미지로부터 3D 공간을 이해하는 것이 근본적 과제인 가운데, 기존 방식은 화소 단위 대응이나 3D 기하 모델 통합을 시도했지만 인간의 추론에는 미치지 못했다. AI · 머신러닝 · Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering
Key Point 다중뷰 3D 이해라는 MLLM의 핵심 약점을 인간의 추론 방식으로 해결하는 새로운 접근으로, 구조화된 3D 표현 학습이 모델 전체의 기하 인식을 높이는 메커니즘을 제시한다.
핵심 요약
멀티모달 LLM(MLLM)이 다중 이미지로부터 3D 공간을 이해하는 것이 근본적 과제인 가운데, 기존 방식은 화소 단위 대응이나 3D 기하 모델 통합을 시도했지만 인간의 추론에는 미치지 못했다. 본 연구는 인간의 공간 추론 방식에 영감을 받아, 세밀한 기하 단서보다는 뷰 간 공통 객체 인식 → 상대 기하 추론 → 장면의 대략적 3D 배치 조립 과정을 모방한다. Imagine3D-LLM은 이미지 토큰 뒤에 학습 가능한 요약 토큰 집합을 추가하고, 이를 3D 가우시안 스플래팅 표현으로 복원한다. 전체 요약 6문장 읽기 → 
