Based on advice from LocalLLama implemented a n+2 lookahead prediction for ssd streaming Qwen Flash Next - and it worked!

r/LocalLLaMA 글(작성자 u/turtleninja99)을 레딧 RSS 발췌로 읽고 옮겼어요. 본문이 짧은 글이고 레딧 페이지 직접 접근은 403이었어요.

프로젝트

작성자는 맥 미니 M5 64GB에서 Qwen Flash Next를 SSD 스트리밍으로 최적화하고 있어요. 모델 전체가 메모리에 다 들어가지 않으니, MoE 모델의 전문가(expert) 가중치를 필요할 때 SSD에서 불러오는 방식이에요. 이 방식에선 전문가를 얼마나 미리, 정확히 불러오느냐가 토큰 출력 속도를 좌우해요.

무엇을 바꿨나

• 최근 r/LocalLLaMA에 토큰 출력을 어떻게 최적화할지 물었대요.
• 흔한 방법은 현재 층보다 한 층 앞의 전문가를 미리 가져오는 '룩어헤드 추측기'예요.
• 인기 있던 제안은 두 층 앞(n+2)의 전문가를 예측해 미리 로딩을 시작하는 예측 모델을 만드는 거였어요.
• 그대로 구현했더니 채팅 +8%, 코드 +4.2%가 나왔대요.

작성자는 여러 최적화가 겹쳐 쌓이는 방식 때문에, 아무 최적화 없는 기본 구성이라면 이 기법만으로 더 큰 이득이 날 수도 있다고 봤어요.

링크와 감사

코드는 깃허브 skeggsguy/Flash-next-ssd에 있어요. 수정 메모에서 원래 제안을 한 sdroege_에게 공을 돌렸어요. 커뮤니티 질문이 실제 구현과 성능 개선으로 이어진 사례예요.