Cerebras Deploys Trillion-Parameter AI Models

Cerebras 블로그(Sarah Chieng, 2026년 10월 22일)는 "웨이퍼 하나에 메모리가 44GB뿐인데 수조 파라미터 모델을 어떻게 돌리느냐"는 질문에 답해요. 예시는 오픈소스 Kimi K3(약 3조 파라미터)예요. 본문 중 계산식 일부는 이미지로 돼 있어 결과 숫자만 옮겼어요.

예시 모델과 가정

• Kimi K3는 선형 어텐션 층 69개 + 덴스(full-attention) 층 24개, 총 93층이에요.
• 벤치마크: Terminal-Bench 2.1 88.3%(GPT-5.6 Sol 88.8%), BrowseComp 91.2%(GPT-5.6 Sol 90.4%).
• 가정: 평균 요청 크기 256k, 4비트 가중치 양자화, 8비트 KV 캐시.

1. 층 하나의 크기

3조 파라미터를 4비트로 저장한 전체 용량을 93층으로 나누면 층 하나가 약 16GB예요.

2. 웨이퍼 수

• 덴스 층은 활성 요청마다 모든 토큰의 키·값을 저장해야 해서 KV 캐시 공간이 필요해요. 그래서 웨이퍼 하나에 덴스 층 1개만 두고 남는 SRAM을 KV 캐시에 써요.
• 선형 어텐션 층은 컨텍스트 길이와 상관없이 요청마다 작은 고정 크기 상태만 둬요. 그래서 웨이퍼 하나에 2개(2 × 16GB = 32GB)가 들어가요.
• 결과: 선형 층용 35장 + 덴스 층용 24장 = 웨이퍼 59장.

3. 웨이퍼 연결

Cerebras는 모델을 파이프라인으로 실행해요. 컴파일러가 층을 웨이퍼 영역에 배치하고, 런타임이 토큰이 흐를 경로를 잡아요. 웨이퍼 사이에는 활성값(activation)만 오가며, RDMA over Ethernet으로 홉당 약 2마이크로초가 걸려요. 층 하나(16GB)가 웨이퍼 SRAM(44GB)에 통째로 들어가니 대부분 가중치는 움직이지 않고 층을 쪼갤 필요도 없대요.

4–5. 요청 처리

웨이퍼 하나를 조립 라인의 한 단계로 보면 돼요. 웨이퍼 1이 1–2층을 계산해 웨이퍼 2로 넘기고, 마지막 웨이퍼가 다음 토큰을 만들어요.

토큰이 웨이퍼를 차례로 지나가면 나머지 웨이퍼는 놀고 있지 않을까요?

아니래요. 파이프라인을 여러 요청으로 계속 채워서, 3단계가 요청 A를 처리하는 동안 2단계는 B, 1단계는 C를 처리해요. 실제 서비스는 층보다 훨씬 잘게 나눈 단계를 더 많이 쓰고, 각 단계가 작은 마이크로배치를 처리해요. 동시에 처리 중인 요청 수는 대략 "단계 수 × 마이크로배치 크기"예요. 마이크로배치가 작으면 요청당 속도가 빨라지고, 크면 총 처리량이 늘어요.

6. 동시 요청 수

동시 요청의 상한은 덴스 층 웨이퍼의 KV 캐시 공간이 정해요. 웨이퍼 용량에서 덴스 층 하나를 뺀 나머지를 256k 요청 하나의 캐시 크기로 나눠 계산해요. GPU 배치와 달리 요청들은 서로를 기다리지 않고 파이프라인을 계속 흘러가요.

다만 동시성이나 배치 크기만으로 효율을 판단할 수는 없고, 같은 출력 속도에서 전력당 토큰 처리량(예: 메가와트당 초당 토큰)이 더 의미 있는 지표라고 강조해요.

3조보다 큰 모델은

같은 방법을 그대로 써요. 가중치와 요청 상태에 필요한 메모리를 계산하고, 웨이퍼에 나눠 배치하고, 파이프라인으로 연결해요. 웨이퍼가 늘 때마다 연산과 온칩 메모리가 함께 늘어나요.