LLM 활용해 3D 부품 조립 성능 대폭 향상
원제 LLM2R: From Large Language Models to 3D Reassemblers
추천 25댓글 2
Key Point
대규모 부품을 가진 3D 조립 작업에서 기존 방식의 확장성 문제를 LLM 기반 접근으로 근본적으로 해결하고, 복잡한 기하학적 추론을 단일 forward pass로 처리할 수 있는 새로운 가능성을 제시한다.
핵심 요약
- 3D 부품 조립은 분해된 부품들에서 전체 형태를 복원하기 위해 각 부품의 rigid SE(3) 변환을 예측하는 과제다.
- 기존 방식은 부품 쌍의 관계에 의존하거나 반복 생성-검증을 사용해 많은 부품을 가진 물체에서 확장성이 떨어진다.
- LLM2R은 부품 조립을 sequence modeling 문제로 재정의하며 사전학습된 decoder-only LLM을 활용한다.
- Point-BERT 인코더와 Q-Former가 각 부품을 기하학적 토큰 블록으로 압축하고, 모든 부품의 블록을 연결한 후 LoRA로 적응된 LLM이 한 번의 forward pass로 처리한다.
- 인과 어텐션의 제약을 극복하기 위해 학습 가능한 요약 토큰 블록을 마지막 부품 후에 추가하여 전체 조립 정보를 집계한다.
- 부품별 pose head가 각 부품의 상태와 요약 토큰을 융합해 회전과 이동을 한 번에 예측하는 비자동회귀 방식이다.
- PartNet 3개 카테고리 모두에서 최고 부품 정확도와 성공률을 달성했고, PartNeXt에서 회전·이동 오차와 부품 정확도 최우수 성적을 기록했다.
- Breaking Bad 데이터셋에서 가장 빠른 추론 속도를 보였으며 fracture 특화 방식만 정확도가 더 높다.
- 부품 수가 100개일 때 Breaking Bad에서 GARF보다 부품 정확도 33.5포인트 상회, PartNet에서 Assembler보다 29.1포인트 우월이다.
- 본 적 없는 카테고리로 zero-shot 전이할 때 최강 baseline 대비 16포인트 이상 높은 부품 정확도를 달성한다.