M6 Mac Mini owners (32GB): now you can run Qwen3.8-27B in high quality on the Apple Neural Engine

Reddit이 자동 수집을 막아 RSS 피드에 실린 개발자(Anemll) 공지 본문을 기준으로 옮겼어요. 릴리스 노트와 논문 PDF는 읽지 않았어요.

새 버전 내용

ANEMLL Forge 0.2.1에서 Qwen3.8-27B가 M6 Neural Engine에서 최대 192K 컨텍스트로 돌아가요(M6 32GB 기준).

• INT8 K/V 캐시: FP16의 절반 크기예요.
• 대상 모델의 출력 헤드를 공유하는 더 작은 드래프터: 속도는 같고 ANE 메모리를 0.86GB 덜 써요.

속도

• 생성 속도는 내용에 따라 달라요. JSON 35~62토큰/초, 코드 18~32, 산문 10~17.
• 프롬프트 처리(prefill)는 짧은 컨텍스트에서 260토큰/초, 192K에서 62토큰/초예요.
• 128K~192K는 메모리 예산을 지키려고 prefill 배치를 64행에서 32행으로 줄였대요.

주의할 점

• 192K 전체를 처음 컴파일하면 M6에서 약 2시간 걸려요(한 번만, 캐시됨).
• --ctx로 필요한 항목만 내보내면 훨씬 빨라서, 16K는 다운로드부터 서버 실행까지 약 10분이래요.
• 작성자는 32GB에서 크기와 속도의 균형점으로 96K를 꼽아요. prefill 123토큰/초, 생성 약 27토큰/초, 총 메모리 약 21.4GB예요.

약 15만 토큰에 걸쳐 압축 없이 테트리스를 만드는 영상과, Apple Neural Engine의 3비트 MLP 벡터 양자화를 다룬 논문도 함께 공개했어요.