선택 작업에 특화된 경량 멀티모달 모델 Intern-Decision 공개
원제 Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
추천 25댓글 2
Key Point
의사결정이 필요한 에이전트 시스템에서 응답 생성 대신 구조화된 선택을 직접 반환하므로, 지연시간을 줄이고 모델-환경 인터페이스를 단순화한다.
핵심 요약
- Intern-Decision은 텍스트와 이미지로부터 구조화된 선택과 확률을 반환하는 0.8B, 2B, 4B 사이즈의 멀티모달 의사결정 모델이다.
- 자동회귀 마스크 언어 모델링 목표를 사용하여 완전한 어시스턴트 JSON 스켈레톤에 필드당 하나의 결정 플레이스홀더를 배치하고, 한 번의 순방향 전달로 모든 필드를 평가한다.
- 4B 모델이 7개 평가 세트에서 평균 90.02% 정확도를 달성했으며, Llama v1.13.0의 88.74%를 능가한다.
- RTX 4090에서 289토큰 고정 요청으로 4B 모델의 평균 지연시간은 44.16ms, 소형 모델은 약 33~34ms이다.
- 온도 스케일링으로 멀티클래스 Brier 점수를 0.628에서 0.550으로, 캘리브레이션 오류를 0.213에서 0.089로 감소시켰다.
- 신뢰도 기반 핸드오프 연구에서 111개 테스트 사례 중 42개를 Llama-Dawn-Preview로 라우팅하여 정확도를 73.87%에서 87.39%로 개선했다.
- 게임, 시각 인터페이스, 브라우저 데모를 통해 구현을 입증했으며, 경량 의사결정 모델이 대규모 에이전트 시스템의 실용적 구성요소로 기능함을 보여준다.