루핑 트랜스포머로 경량화한 추론 AI, 라이언 Inkling 2 Mini 공개
원제 Inkling 2 Mini
195 포인트댓글 19

Key Point
경량 모델에서 추론 성능을 획기적으로 높이는 루핑 아키텍처가 처음 공개되며, 로컬 하드웨어에서 여러 에이전트를 실시간으로 운영할 수 있는 가능성을 보여준다.
핵심 요약
- 라이언(Thinking Machines)이 Inkling 2 Mini를 발표했다. 26.4B 총 파라미터, 3.4B 활성 파라미터를 가진 Mixture-of-Experts 모델으로, 중간층을 세 번 반복 실행하는 루핑 아키텍처를 사용해 추론 성능을 높인다.
- 100B 미만 오픈웨이트 모델 중 처음으로 DeepSWE v1.1에서 48.2%, Vals Index v2.2에서 46.5%의 최고 성능을 기록했으며, 유사한 성능의 다른 모델보다 빠르게 실행된다.
- 루핑으로 인해 토큰을 출력하지 않고도 더 오래 추론할 수 있으므로, 체인오브씽크(CoT) 모니터링 시 모니터링 가능성이 감소할 우려가 있다.
- 변수 루핑 모델 실험에서 한 번 통과 시 16초 대비 세 번 통과 시 37초로 CoT 없는 시간 지평선이 늘어났고, 순차 추론 벤치마크에서 훈련한 10회 루프까지 성능이 계속 개선되었다.
- 모델의 체인오브씽크는 루프가 증가해도 가독성을 유지했으며, 에이전트 사보타주 테스트에서 루프 증가에 따른 성능 저하가 없었다.
- 모델은 NVFP4(처음 20층) 및 MXFP8(마지막 4층) 양자화로 약 20GB 메모리 풋프린트를 가지며, MacBook Pro 같은 소비자 노트북과 오프라인 환경에서 실행 가능하다.
- 에이전트 코딩, 도구 사용, 긴 맥락 작업에서 강점을 보이며, 멀티턴 대화나 복잡한 제약 조건 태스크에서는 Qwen3.8-27B 뒤에 있다.
- 루핑의 주요 이점은 추론 단계를 증가시키되 파라미터를 추가하지 않는 것이다. 중간층(7-18층)을 루핑할 때 마지막층(13-24층)보다 1.51-1.91배 성능 이득이 더 컸다.
- 모델은 프리트레이닝부터 RL까지 4비트 정밀도로 훈련되어 양자화 손실이 없으며, 중간 훈련 중 384개 중 128개 전문가로 가지치기된 후 큰 모델에서 증류한 1T 토큰으로 성능을 복구했다.
- Stanford의 에너지 효율 테스트에서 Inkling 2 Mini는 쿼리당 조울 기준 0.703점으로 다른 모델(0.430~0.036)보다 훨씬 높은 효율을 기록했다.
- 오프라인 MacBook 한 대에서 20명의 에이전트를 모두 운영하는 Thinkyville 데모 같은 구현이 가능하며, 모델은 Tinker와 Hugging Face에 오픈웨이트로 공개되었다.
- 루핑 모델의 모니터링 가능성은 보전되는 것으로 보이지만, 더 높은 루핑 깊이에서 RL을 수행한 모델의 추론 압축 정도는 아직 미지수다.