Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

GitHub 저장소 README를 읽고 옮겼어요. 탈옥 절차의 세부 페이로드는 README에 적힌 범위만 정리했어요.

무엇인가

"PS5가 언어 모델을 돌리고 네트워크의 모든 기기가 그걸 써요"라는 소개처럼, 탈옥한 PS5를 집 안 개인 모델 서버로 만드는 앱이에요. 실행 중에는 PC, 클라우드, 계정이 필요 없다고 해요.

기능

• GPU에서 실행: llama.cpp의 Vulkan 백엔드로 콘솔의 RDNA 2 GPU를 쓰고, 공유 메모리 중 11.4GB를 모델과 컨텍스트에 써요. llama.cpp가 아는 아키텍처·양자화는 다 돼요.
• 네트워크 API: OpenAI /v1/chat/completions, Anthropic /v1/messages(Claude Code도 붙는대요), 브라우저 채팅 페이지. http://<console>:8081로 접속하면 모델 이름과 상관없이 로드된 모델이 답해요.
• 결정 모델: Ollaya가 PC에서 제공하는 것과 같은 /v1/systemone API로, 텍스트·이미지에 대해 선택·점수·예/아니오 질문에 한 번의 forward pass로 답하는 결정 모델(d1, Clef, OpenJev 등)을 돌려요.
• TV 화면: 어떤 기기가 무엇을 물었고 답이 어떻게 써지는지 채팅처럼 보여 주고, 온도·전력·GPU/CPU 부하 그래프도 있어요.
• 자동 맞춤: GGUF를 읽어 남은 메모리에 맞는 가장 긴 컨텍스트와 캐시를 고르고, Hugging Face에서 내장 저장소·M.2·USB로 내려받아요. 이미지 프로젝터가 있는 모델(Gemma 4, MiniCPM-V, d1)은 사진도 읽어요.

PS5 Slim 측정값

| 모델 | 크기 | 속도 | |---|---:|---| | Qwen 3.5 0.8B Q4_K_M | 0.5GB | 초당 207토큰 | | Qwen 3.5 9B Q4_K_M | 5.3GB | 초당 55토큰 | | Qwen 3.8 27B UD-Q2_K_XL | 9.2GB | 약 초당 20토큰, 64k 컨텍스트 | | d1 Omni 600M(결정 모델) | 1.1GB | 질문 3개 0.3초, 720p 이미지+질문 7개 2.9초 |

요구 사항

펌웨어 7.00–13.60의 탈옥한 PS5와 kstuff-lite, etaHEN, ShadowMountPlus 페이로드가 필요하고, elfldr·ftpsrv는 권장이에요. 릴리스 zip의 폴더를 FTP로 /data/homebrew에 복사하면 홈 화면에 나타나요.

라이선스

GPL-3.0-or-later이고 llama.cpp는 MIT를 유지해요. 저장소에는 Sony SDK 파일, 키, 펌웨어, 모델 가중치가 없고 Sony와 무관하다고 밝혀요.