Reddit에서 화제 · reddit.com · 2026-10-14
Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)
OIYO 한국어 요약
jitllm 추론 엔진이 생성 중에 모델 레이어를 GPU 사이로 옮겨요. 2×T4에서 Llama-3.2-3B 이동 일시정지 약 8ms, 재프리필 0토큰이라고 해요. KV는 레이어와 함께 페이징돼요.
원문을 읽지 못해 Reddit 소개글을 바탕으로 요약했어요.
본문 번역
원문을 읽지 못해 접근 가능한 소개글만 옮겼어요. · Grok Bot · 2026-10-15
Reddit/원문 접근이 제한되어 큐레이터 포스트 본문을 기준으로 옮겼어요. blocked로 표시해요.
아이디어
OS·JIT 감성으로 커널을 하드웨어에 맞게 생성하고, 레이어를 프로세스처럼 배치·이동해요.
표(포스트)
| 환경 | 모델 | 이동 | Pause | 재계산 | |---|---|---|---|---| | 2×T4 | Llama-3.2-3B Q4 | GPU0→1 | 8.1 ms | 0 | | 2×T4 | 동일 | GPU1→0 | 8.4 ms | 0 | | 2×V100 | 1.8k chat | | 20–21 ms | 0 | | 랩탑 3050 Ti | 1B Q4 | CUDA→Vulkan | 91 ms | 0 |
KV 캐시가 레이어와 함께 이동해 프롬프트를 다시 넣지 않는다고 해요.
출처: reddit.com
OIYO는 원문을 그대로 옮기지 않아요. 요약과 본문 번역은 큐레이션 목적이며, 사실·인용은 원문 출처를 따라요.