4 coding agents on one RTX 3090: ~290 tok/s total from a custom CUDA engine for Qwen3.8-27B (3-4x llama-server --parallel)

Reddit이 자동 수집을 막아 RSS에 실린 본문을 기준으로 옮겼어요. 수치는 작성자 측정이에요.

무엇을 만들었나

작성자는 Qwen3.8-27B Q4_K_M 전용 CUDA 메가커널 엔진을 가진 로컬 코딩 에이전트 OpenJet을 만들고 있어요. 지금까진 한 번에 대화 하나만 처리했는데, 새 릴리스는 GPU 한 장에서 여러 에이전트를 동시에 서빙해요.

숫자 (RTX 3090, Qwen3.8-27B Q4_K_M, 에이전트당)

| 상황 | llama-server --parallel 4 | OpenJet --agents 4 | |---|---|---| | 디코드, 짧은 프롬프트 | 18–20 tok/s | 64–72 tok/s | | 디코드, 각 23K 컨텍스트 | 15–16 tok/s | 52–55 tok/s | | 그 컨텍스트에서 다음 요청 첫 토큰 | 13.4초 | 0.2–0.5초 | | 다른 에이전트가 20K 프롬프트 처리 중 디코드 | 0.6 tok/s | 9.5 tok/s |

합계는 4개 에이전트 256–288 tok/s로 llama-server의 72–80 tok/s보다 높아요. 혼자 돌면 117 tok/s이고, 도구·테스트를 돌리느라 쉬는 실제 코딩 에이전트 4개는 합계 150–200 tok/s래요.

병렬 디코딩 원리

• GPU 토큰 생성은 메모리 대역폭이 한계예요. 매 디코드 스텝마다 16.7GB 가중치를 VRAM에서 읽는데, 3090(936GB/s)에선 그것만 약 18ms가 걸려요. 계산량은 상대적으로 작아요.
• 그래서 에이전트를 차례로 돌리지 않고, 매 스텝 활성 에이전트의 다음 토큰과 MTP·프롬프트 룩업 초안 토큰 2개씩을 한 배치로 쌓아요(4개면 12행).
• 가중치를 한 번 흘려보내며, 칩 위에 있는 동안 텐서 코어로 12행 모두와 곱해요. 4개 에이전트가 가중치 읽기 한 번 비용만 내는 셈이라, 에이전트당 속도가 30 근처가 아니라 64–72로 유지된대요.
• 에이전트가 늘면 커지는 건 각자의 KV 캐시를 읽는 어텐션과 추가 행 계산이에요.
• 스텝 전체가 레이어별 런치 없는 하나의 영속 CUDA 커널로 돌고, 초안 검증도 같은 패스에서 해요.
• 새 프롬프트가 들어와도 다른 에이전트를 멈추지 않도록, 매 스텝 프롬프트를 조각씩 함께 처리해요.

RSS 본문이 중간에서 끊겨 이후 설명은 옮기지 못했어요.