Ai2, MoE 학습 효율 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 공개

AI타임스 박찬 기자의 기사예요. 한국어 원문이라 핵심을 해설 형식으로 정리했어요.

배경

모델이 커질수록 학습에 드는 GPU와 비용이 늘면서, 성능만큼 제한된 연산 자원으로 얼마나 효율적으로 학습하느냐가 대규모 AI 개발의 핵심 과제가 됐어요. 앨런 AI 연구소(Ai2)는 LLM 학습 효율을 높인 오픈소스 프레임워크 올모 코어 3(Olmo-core 3)를 공개했어요. 학습 시스템을 재설계해 470억 매개변수 모델에서 GPU당 처리량을 약 2.7배 높였고, 수조 매개변수 모델까지 확장되도록 설계해 연산 비용과 에너지 부담을 줄이는 데 초점을 맞췄어요.

MoE의 효율 문제

핵심은 전문가 혼합(MoE) 모델용 새 학습 시스템이에요. MoE는 여러 전문 신경망을 두고 토큰마다 일부 전문가만 골라 처리하므로, 전체 매개변수가 커도 실제 연산 참여 매개변수를 제한할 수 있어요. 하지만 규모가 커지면 전문가를 여러 GPU에 나눠 두는 과정에서 토큰을 알맞은 전문가로 보내고 작업을 조정하는 통신 비용이 생기고, 학습 시스템이 비효율적이면 일부 전문가만 쓰는 장점이 상쇄돼요.

해법: FSDP → DDP

Ai2는 기존 완전 샤딩 데이터 병렬(FSDP)에서 분산 데이터 병렬(DDP) 기반으로 바꿨어요. 기존 시스템은 작은 배치마다 모델 가중치를 모았다가 다시 나누기를 반복했는데, 올모 코어 3는 전문가를 GPU에 상주시키고 필요한 데이터를 그 GPU로 보내 가중치를 반복 수집하는 부담을 줄였어요. 여기에 행 단위 전문가 병렬화, GPU 상주 라우팅, 그룹형 행렬 곱셈(GEMM)을 결합해 데이터 이동 비용을 최소화했고, 저정밀 연산 형식 MXFP8을 적용해 학습 처리량을 약 21% 늘리고 최대 활성 메모리 사용량도 줄였어요.

성능

엔비디아 B300 GPU 8개 테스트에서 470억 매개변수 MoE 모델이 GPU당 초당 5만 2,000토큰을 처리해 기존 FSDP 기반보다 약 2.7배 효율이 높았어요. 전문가 수를 늘려 전체 규모를 470억 개로 확장하는 실험에서도 처리량 감소를 5% 미만으로 묶어 안정적인 확장성을 보였어요.

의의

Ai2는 개별 기술 성능뿐 아니라 학습 과정 전체의 균형을 고려해 설계했고, 모델 가중치만이 아니라 학습에 쓰는 시스템과 기술 전체를 공개한다는 점에 의미를 뒀어요. 연구자와 개발자는 올모 코어 3로 자체 MoE 모델을 학습하고, 하드웨어에 맞게 시스템을 조정하거나 전문가 라우팅·병렬화 기법을 실험할 수 있어요. 코드와 기술 보고서는 GitHub에 공개됐어요.