Reddit에서 화제 · reddit.com · 2026-10-09
I built ALHR: A tree based sparse attention system that achieves sub-quadratic inference while retaining accuracy. [P]
OIYO 한국어 요약
ALHR은 정적 이진 트리와 학습 가능 함수로 읽을 키 수를 줄이는 희소 어텐션 시스템이에요. MQAR 1024 토큰에서 쿼리당 키를 512→30개로 줄이며 Top-1은 94.9%→92.1%, KV 압축 약 35×라고 해요. 학습 1단계에서는 dense teacher를 쓰고, peak VRAM은 dense와 스케일 특성이 다르다고 해요.
원문을 읽지 못해 Reddit 소개글을 바탕으로 요약했어요.
OIYO는 원문을 그대로 옮기지 않아요. 요약과 본문 번역은 큐레이션 목적이며, 사실·인용은 원문 출처를 따라요.