Reddit에서 화제 · github.com · 2026-10-07
llama : add a GPU cache for MoE experts kept in host memory by am17an · Pull Request #29887 · ggml-org/llama.cpp
OIYO 한국어 요약
llama.cpp에 호스트 메모리에 둔 MoE 전문가(expert) 가중치를 GPU에 캐시하는 기능을 추가하는 PR(#29887)이에요. 레딧 글쓴이는 VRAM에 다 들어가지 않는 MoE 모델에서 속도가 크게 빨라질 수 있다고 소개해요. 후속 PR #30112는 병합됐다고 덧붙였어요.
원문을 읽지 못해 Reddit 소개글을 바탕으로 요약했어요.
OIYO는 원문을 그대로 옮기지 않아요. 요약과 본문 번역은 큐레이션 목적이며, 사실·인용은 원문 출처를 따라요.