브라우저에서 LLM 의사결정 방식 직접 비교
Key Point
두 의사결정 방식의 성능 차이를 실측할 수 있어, LLM을 실제 애플리케이션에 활용할 때 최적의 방법을 선택하는 데 도움이 된다. ai
핵심 요약
- OpenJev는 로컬 LLM이 선택지별 확률을 계산하는 두 가지 방식을 브라우저에서 직접 비교하는 인터랙티브 도구다.
- 한 방식은 모델의 로짓(logits)을 직접 읽어 정규화하고, 다른 방식은 모델이 확률을 JSON 텍스트로 생성하도록 요청한다.
- Qwen3 0.6B(639MB), MiniCPM5 2B(1.56GB), Qwen3.5 4B(3.01GB) 세 가지 크기의 모델을 선택해 실행할 수 있다.
- 백엔드가 없으며 모든 입력과 가중치는 사용자의 브라우저에만 존재하고, 실제 GPU 성능을 기준으로 실행 시간을 측정한다.
- 직접 읽기 vs 토큰 생성의 속도와 정확도 차이를 GPU에서 직접 확인할 수 있다.