PS5에서 언어모델 서버 구축, 집 전체 기기에서 사용
원제 Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
102 포인트댓글 28
Key Point
탈옥 PS5를 개인 서버로 변환하여 클라우드 없이 로컬에서 언어모델을 운영할 수 있으며, TV 기반 관리 인터페이스와 기존 AI 도구와의 호환성이 실용성을 높인다.
핵심 요약
- PS5LM은 탈옥한 PS5의 GPU에서 llama.cpp를 실행하여 GGUF 형식 언어모델을 로드하고 네트워크 기기들에 서빙하는 어플리케이션이다.
- 콘솔의 RDNA 2 GPU와 11.4GB 공유 메모리를 활용하며, llama.cpp가 지원하는 모든 아키텍처와 양자화 기법을 사용할 수 있다.
- OpenAI의 /v1/chat/completions와 Anthropic의 /v1/messages API를 구현하여 기존 클라이언트(Claude Code 포함)와 호환되며, 브라우저 채팅 인터페이스도 제공한다.
- Qwen 3.5 9B(Q4_K_M)은 초당 55토큰 속도로, Qwen 3.8 27B(UD-Q2_K_XL)는 약 20토큰 속도로 작동하며 64k 컨텍스트를 지원한다.
- 결정 모델(decision model)도 지원하여 /v1/systemone API로 선택지·점수·예/아니오 질문에 대한 타입 안전 응답을 제공한다.
- TV 화면에서 요청 내역, 응답 스트림, 온도·전력·GPU/CPU 로드를 실시간 모니터링할 수 있다.
- 앱이 사용 가능한 메모리에 맞게 각 모델의 최장 컨텍스트와 캐시를 자동 설정하며, Hugging Face에서 직접 다운로드할 수 있다.
- Gemma 4, MiniCPM-V, d1 같은 비전 모델은 채팅과 결정 작업에서 이미지를 처리할 수 있다.
- 펌웨어 7.00~13.60의 탈옥 PS5에 필요한 페이로드들(kernel patches, ShadowMountPlus, elfldr, ftpsrv)을 로드하고, FTP로 앱 폴더를 복사한 뒤 GGUF 모델을 로드하여 사용한다.
- 로컬 저장소, M.2 드라이브, USB 드라이브에서 모델을 로드할 수 있으며, 기본 UI는 TV 리모콘과 게임패드로 조작한다.
- Claude Code 등 코딩 도구와 연동하는 방법은 docs/CLI.md에 문서화되어 있다.
- 라이선스는 GPL-3.0-or-later이며, llama.cpp는 MIT 라이선스를 유지한다.