Running Qwen3.8 at 255 tok/s on a single 5090

mesh.applied 랜딩 페이지를 옮겼어요. 페이지가 아주 짧고, HN 제목에 나온 "단일 RTX 5090에서 Qwen3.8 255 tok/s" 수치는 이 페이지에는 적혀 있지 않았어요.

소개

Task-specialized open models for your inference needs.

mesh.applied는 최신 오픈소스 모델을 가져와 후학습(post-training), 양자화, 커널 특화 기법을 차례로 적용해 로컬 하드웨어에서 빠르게 돌도록 만든다고 소개해요.

공개된 모델

• DeepSeek-V4.1-Flash-Ternary
• 권장 하드웨어: RTX6000 4장
• 사용자 4명 동시, 합산 276 tok/s
• 복잡한 코딩과 리서치용
• Qwen3.8-Flash-Next-NVFP4
• 권장 하드웨어: RTX6000 1장
• 사용자 4명 동시, 합산 334 tok/s
• 코딩과 일상 작업용

실행

Goethe 프레임워크로 실행하며, git clone https://github.com/meshapplied/goethe.git로 받을 수 있다고 안내해요.