로컬 LLM 속도 비교 도구 Llmspeed 공개
원제 Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
107 포인트댓글 41
Key Point
로컬 LLM 운영 비용을 고민하는 개발자들이 고가 하드웨어 구매 전에 성능을 예측할 수 있는 실용적인 도구다.
핵심 요약
- 단일 기기에서 짧은 프롬프트에 대한 로컬 LLM 실행 속도를 예측해주는 웹 도구 Llmspeed를 공개했다.
- r/LocalLLaMA, localscore.ai 등 커뮤니티 벤치마크에서 수집한 실측 데이터와 유사 환경이나 사양으로부터 도출된 추정값을 조합해 제공한다.
- 개발자가 실제 하드웨어를 구매하기 전에 다양한 로컬 LLM의 실행 속도를 미리 확인할 수 있다.
- GitHub에서 오픈소스로 공개되어 있다.