[Paper] DLite: History-free Speculative Decoding for Agentic AI

Reddit 글 페이지는 읽지 못했지만, 수집 때 받은 RSS 본문에 논문 초록 전체가 들어 있어 그걸 기준으로 옮겼어요. 논문 본문은 읽지 않았어요.

문제

추측 디코딩(speculative decoding)은 가벼운 초안 모델이 후보 토큰을 만들고 대상 모델이 검증해 LLM 추론을 빠르게 하는 주류 기법이에요. 그런데 에이전트 작업은 문맥이 길고 계속 바뀌며 여러 턴 상호작용이 잦아요. 연구진은 이런 작업에서 기존 초안 모델의 수락 길이가 최대 80% 떨어지고, 이력 KV 캐시를 유지하는 데 시스템 부담이 크다는 걸 관찰했어요.

아이디어

두 문제의 공통 원인을 늘어나는 이력 문맥으로 보고, 이력 없는(history-free) 추측 디코딩 프레임워크 DLite를 제안해요.

• 대상 모델의 문맥 은닉 상태를 바로 재사용해, 이력 문맥을 따로 유지하지 않고 국소적인 추측 예측을 해요.
• 점점 복잡해지는 모델링 문제를 단순한 국소 예측 문제로 바꾸는 거예요.
• 가벼운 순차 헤드가 블록 안의 인과 의존성을 적은 부담으로 되살려요.
• 이 이질적인 구조를 학습하려고 맞춤형 2단계 학습 전략을 도입했어요.

결과

범용, 긴 문맥, 에이전트 작업 실험에서 DLite는 수락 길이 2~6을 달성했고, 최신 추측 디코딩 기법인 DSpark보다 최대 70% 앞섰다고 해요.

자료

arXiv 2610.23787, GitHub SJTU-DAI-Sys/DLite, Hugging Face 컬렉션이 공개돼 있어요. Reddit 공유자는 u/pmttyji예요.