Basalt: Fast Blackwell inference engine for Qwen 3.8 Flash Next (and how we got vision for free)

r/LocalLLaMA 글(작성자 u/jesdga95)을 레딧 RSS 발췌로 읽고 옮겼어요. 레딧 페이지 직접 접근은 403이었어요.

Basalt란

Basalt는 Qwen 3.8 Flash Next용 추론 엔진이에요. Strata에서 포크했고 엔비디아 블랙웰에 맞게 많이 튜닝했어요. 비전(이미지 입력)도 지원해요.

문제

비전을 쓰려면 이미지 인코더를 항상 VRAM이나 CPU에 둬야 했어요.

• VRAM에 두면, 원래 빠른 메모리에 남아 있어야 할 MoE 전문가들이 쓸 귀한 공간을 차지해요.
• CPU에서 인코딩하면 느려요.

해결: --vision dynamic

출시 후 u/rkfg_me가 "왜 아예 계속 올려 두나?"라는 간단한 질문을 던졌고, 좋은 아이디어라 구현했대요.

• 유휴 상태에선 인코더가 RAM에 있어 로딩 시 VRAM을 거의 쓰지 않아요.
• 이미지가 오면 엔진이 전문가 캐시 슬롯 일부를 빌려 인코더를 VRAM에 올리고(약 30ms) 이미지를 인코딩해요.
• 끝나면 같은 슬롯을 RAM에서 다시 채워요(약 60ms).
• 이미지를 안 보내면 비용이 전혀 없고 텍스트 성능에도 영향이 없어요. 제목의 "비전을 공짜로"가 이 뜻이에요.

인코더는 Basalt 자체 커널을 써서 llama.cpp보다 최대 3배 빠르대요.

개발자용

저장소는 github.com/jesdga95/basalt예요. 자기 엔진에 이식하고 싶다면 main 브랜치 커밋 9bfb90a, a704c65, efd23d9를 보라고 알려 줘요.