Someone is running Qwen 27B at ~20 tok/s on a jailbroken PS5's GPU

Reddit이 403을 돌려줘 RSS로 읽었는데, 이 글은 r/LocalLLM의 다른 게시물을 링크한 크로스포스트라 본문이 없었어요. 링크된 원 게시물도 읽지 못해 제목과 댓글만 정리했어요.

제목

Someone is running Qwen 27B at ~20 tok/s on a jailbroken PS5's GPU

누군가 탈옥한 PS5의 GPU에서 Qwen 27B를 초당 약 20토큰으로 돌리고 있다는 소식이에요. 올린 사람은 u/LatentSpacer이고, 원래 글은 r/LocalLLM에 있어요. 어떤 양자화, 어떤 소프트웨어 스택을 썼는지는 원문을 못 읽어 확인하지 못했어요.

댓글 반응

• PS5 Pro의 메모리가 GDDR6 16GB와 DDR5 2GB라며 "낮은 양자화일 것"이라는 지적이 나왔어요.
• 후보로 IQ2_XXS, 또는 UD-IQ3_XXS(10.9GB), UD-IQ3_S(12GB), UD-Q3_K_XL(13.1GB) 같은 파일 크기가 거론됐어요.
• 올린 사람은 Qwen 4 소형 모델이 Qwen Next Flash와 같은 구조라면 상당 부분을 SSD로 넘길 수 있을 거라고 했어요.
• "이제 PS5를 줄줄이 엮는 사람이 나오겠네"라는 농담도 있었어요.