브라우저에서 초소형 LLM 7개 벤치마크하기
원제 MicroLLM Lab – Try 7 tiny LLM's in the browser
110 포인트댓글 51
Key Point
개발자가 자신의 기기에서 경량 모델의 실제 성능을 측정하고 검증할 수 있는 오픈 벤치마크 도구이며, 모든 계산이 로컬에서 이루어져 프라이버시도 보호된다.
핵심 요약
- MicroLLM Lab은 브라우저에서 직접 7개의 작은 언어 모델을 실행하고 성능을 측정하는 실험 플랫폼이다.
- 정확도는 정규식·토큰 기반 객관식 검사로 측정하며, 135M 규모 모델도 테스트할 수 있다.
- 피크 속도(가장 빠른 단일 테스트)와 지속 속도(256토큰 연속 디코딩)를 분리해 측정해 실제 사용 환경을 반영한다.
- 모든 계산과 데이터가 사용자 기기에서만 실행·저장되므로 외부 서버로 전송되지 않는다.
- 벤치마크 스위트를 JavaScript로 직접 작성해 등록할 수 있으며, eval() 기반 커스텀 검사 함수도 지원한다.
- 실행 결과는 검증 가능한 성능 인증서로 생성해 PNG 이미지 다운로드 또는 X·LinkedIn에 공유할 수 있다.
- 인증서에는 기기 하드웨어 정보, 피크·지속 토큰/초 성능이 포함되어 개별 머신의 실제 성능을 투명하게 기록한다.