개인 하드웨어에서 돌리는 프론티어급 AI, 학계가 주도한다

핵심 요약

• 연구의 기본 단위가 논문에서 상호작용하는 오픈소스 생태계로 변했다.
• 에이전트로 인해 1년 걸리던 연구가 주 단위에 끝나면서 개별 논문 중심 연구는 더 이상 가치 있는 연구가 아니 된 것이다.
• 대학 연구팀이 24GB GPU 한 장에서 1250억 파라미터 모델을, MacBook에서 5500억 파라미터 모델을 실행할 수 있게 하는 프레임워크를 공개했다.
• 1.5비트 양자화로 같은 크기 모델을 1/10 메모리에 실행 가능하며 로컬 프로세스 수준의 응답 속도를 낸다.
• 에이전트 하네스는 사용자가 명령 한 줄로 대형 모델 최적화를 자동으로 진행하게 하며, 진행 과정 피드백 없이 스스로 문제를 해결한다.
• AI 자원이 풍부한 기업 연구소가 아닌 제한된 자원의 대학에서 차세대 연구가 일어날 것이라는 주장이다.