[Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source)

Reddit r/LocalLLaMA 게시물은 API 키 없이 본문을 직접 읽을 수 없어 RSS 발췌로 옮겼어요. 발췌 끝부분이 잘려 partial이에요. 수치는 작성자 측 주장이고, 논문은 arXiv 2610.20687이에요.

핵심 결과(배치 1, 단일 요청 기준)

| 구성 | 결과 | |---|---| | RTX 5090 1장, LLaDA-2.1-mini + ORL, NVFP4 | 초당 2,788토큰 | | B200 8장, DiffusionGemma 26B MoE + ORL, NVFP4 | 초당 7,708토큰 | | QwenDLM-4B | 종단 처리량 최대 6.9배, 품질 비슷하거나 더 좋음 | | H100 1장, 같은 정확도 | DFlash 추측 디코딩보다 1.74배 빠름 |

작성자는 이 수치가 동시 요청 합산이 아니라 단일 요청이고, 특정 벤치마크의 최고치라 임의 프롬프트 평균이 아니라고 밝혀요.

아이디어

자기회귀 모델은 한 번에 한 토큰씩 만들지만 확산 모델은 여러 토큰을 병렬로 다듬어 확정할 수 있어요. 문제는 적은 순전파로 수렴시키기 어렵다는 거예요.

1. 온-폴리시 잔차 학습: 매 단계 처음부터 예측하지 않고 이전 예측을 잔차 맥락으로 넘겨 점점 다듬어요. 이 잔차는 모델이 스스로 만들고 학습 중 분포가 바뀌므로, 낡은 오프라인 잔차 대신 현재 모델이 만든 새 궤적으로 학습해 추론 때 상태를 그대로 재현해요.
2. 인접 엔트로피 수축: 각 단계가 직전 단계보다 불확실성을 줄이도록 유도하되, 이미 확신하는 예측은 괜히 밀지 않게 해요.

모델별 결과

• QwenDLM-4B(Qwen3-4B에서 변환): 순전파당 토큰 최대 6.2배, HumanEval pass@1 82.9% → 89.6%
• LLaDA-2.1-mini: 자체 생성 토큰 420만 개, H100 36시간 사후 학습으로 처리량 최대 3배
• DiffusionGemma 26B MoE: 순전파당 토큰 최대 1.2배
• H100 1장에서 QwenDLM-4B + ORL 초당 1,298토큰 vs DFlash 746, EAGLE3 405(ORL은 dlmrt, 비교군은 vLLM 사용)

dlmrt 엔진

CPU에서 매 단계를 띄우고 동기화하는 대신 디노이징 루프 전체를 CUDA 그래프로 잡아 GPU에서 돌려요. 소비자용 RTX 5090을 포함한 Blackwell에서 NVFP4를 지원하고, 같은 설정에서 SGLang/vLLM보다 1.2~1.6배 빠르다고 해요. 학습 쪽도 잔차 상태 캡처, 전용 어텐션 커널, 연산 균형 패킹으로 학습 단계를 최대 5.2배 가속했대요.