리퀴드 AI, 멀티모달 소형 모델 LFM3 공개

핵심 요약

• 리퀴드 AI가 2B 파라미터 규모의 멀티모달 파운데이션 모델 LFM3를 출시했다. 텍스트, 비전, 오디오, 옴니(멀티모달), 의사결정 모델을 하나의 백본에서 제공한다.
• LFM3는 새로운 하이브리드 아키텍처와 22T 토큰 사전학습으로 LFM2보다 표현력이 뛰어나면서도 효율성을 유지한다. 로컬 파인튜닝, 모든 기기에서 실행, 전문 작업 최적화가 가능하다.
• 아키텍처는 13개 계층의 게이트 단락 컨볼루션, 5개 계층의 슬라이딩-윈도우 어텐션(256 토큰 윈도우), 6개 계층의 글로벌 어텐션을 조합한다. 커널 크기를 3에서 7로 확대했다.
• LFM3-1.7B는 256K 토큰 문맥 길이를 지원하며, 에이전트 작업 벤치마크에서 자신보다 몇 배 큰 모델들과 경쟁한다. 온디바이스 측정 시 다른 모델 대비 1.8~2.8배 빠르다.
• LFM3-VL-2B 비전 모델은 비디오 입력, 단계별 추론, 공간·구체화 추론을 지원한다. 62개 비전 벤치마크에서 같은 크기 모델을 7.4점 이상 앞지르고, GPT-4o 12B보다 6배 작으면서도 성능이 비슷하다.
• 비전 인코더는 SigLIP2 대비 3배 적은 연산량을 사용한다. 새로운 Liquid 비전 인코더는 같은 품질에서 2.2배 적은 FLOPs를 요구한다.
• LFM3-Audio-2B는 텍스트 또는 오디오 입력을 받아 텍스트와 음성으로 응답한다. 18개 언어를 지원하고 음성 채팅, 다국어 음성 처리, 오디오 이해, 도구 호출을 지원한다.
• 오디오 인코더는 슬라이딩-윈도우 어텐션과 단락 컨볼루션 혼합으로 설계되어 메모리 효율성을 유지한다. 완전히 인과적(causal) 구조로 라이브 마이크 입력을 처리할 수 있고, 첫 토큰까지 최소 50ms 지연이다.
• 모든 기본 및 포스트학습 모델은 오픈웨이트이며 Hugging Face, Liquid AI 플레이그라운드, Liquid AI API에서 이용 가능하다.
• AMD, Ambarella, Qualcomm, Mercedes-Benz 등 하드웨어·자동차 기업들이 LFM3 통합을 지지한다고 밝혔다.