ALoDLM 8b looped diffusion language model: ~3x inference speed vs its base model qwen3-8b with better benchmark results

Hugging Face 모델 카드(README)를 읽었어요. 카드가 길어서 개요와 평가 표 앞부분까지 옮겼고 나머지는 읽지 못해 partial이에요. Reddit 제목의 "약 3배 추론 속도"는 카드에서 읽은 범위에 수치로 나오지 않아 옮기지 않았어요.

무엇인가

ALoDLM(Adaptively Looped Diffusion Language Models)은 Amazon이 만든 확산 언어 모델 계열로, 1.7B와 8B가 있고 각각 Qwen3 백본에서 초기화했어요. 공유 트랜스포머 층을 되풀이해 적용하고, 아직 결정되지 않은 토큰의 잠재 상태를 보존하며, 토큰 위치마다 계산을 적응적으로 배분해 텍스트와 코드를 생성해요. 학습 데이터는 수학 문제·풀이, 프로그래밍 과제·코드, 지시형 텍스트예요.

연구 아이디어

마스크 확산에서는 어떤 위치는 주어진 맥락으로 바로 풀리고, 어떤 위치는 더 다듬어야 해요. 고정 깊이 디노이저는 모든 위치에 같은 깊이를 쓰는데, ALoDLM은 여기에 적응적 반복을 더해요.

• 지속적 잠재 정제: 공유 층을 다시 써서 미해결 표현을 반복 정제해요.
• 학습된 계산 배분: 토큰별 계산 스케줄을 잠재 변수로 보고, 토큰 예측과 계산 배분을 함께 학습하는 조건부 음의 ELBO를 유도해요.
• 추론 시 제어: 게이트 임계값 q와 엔트로피 임계값 τ로 반복 정제와 병렬 확정 사이의 균형을 조절해요.

일찍 확정된 토큰이 나머지 위치의 맥락이 되고, 확신도가 확정을, 학습된 정지 정책이 반복 종료를 정해요.

평가(논문 표 1 일부, %)

| 벤치마크 | Qwen3-8B | SDAR-8B | WeDLM-8B | ALoDLM-8B | |---|---:|---:|---:|---:| | ARC-Challenge | 93.9 | 90.0 | 91.9 | 94.4 | | MMLU | 76.6 | 78.5 | 78.0 | 76.6 | | MMLU-Pro | 56.8 | 56.3 | 58.3 | 63.9 | | GSM8K | 93.6 | 91.4 | 93.3 | 94.2 |

OpenCompass 프로토콜, 그리디 선택, 4,096토큰 제한, 16토큰 윈도(8B는 q=0.5)로 쟀어요. 처리량은 B200 한 장에서 GSM8K 정확도와 단일 스트림 속도를 비교한 그림으로 따로 제시하는데, 이는 품질 비교와 다른 병렬 확정 모드라고 밝혀요.

용도

비상업 연구용이고, 벤치마크가 자율 운영이나 중대한 결정에 쓸 준비가 됐다는 뜻은 아니라고 강조해요.