MS, 정식 출시 앞서 2.8조 매개변수 모델 공개…‘독자 역량’ 부각

AI타임스 기사를 읽고 핵심을 다시 정리했어요. 기사 문장을 옮기지 않고 요점만 재구성했어요.

무엇을 발표했나

MS는 10월 15일(현지시간) 자체 개발 기반 모델 MAI-Base-2의 사전 학습 완료를 알렸어요. 제품이 나오기 전 사전 학습 성과부터 공개했다는 점에서, 외부 모델 의존을 줄일 독자 개발 역량을 보여 주려는 행보로 해석돼요.

주요 수치

| 항목 | 내용 | |---|---| | 규모 | 총 2조8000억, 토큰당 활성 800억 매개변수(MoE) | | 학습 | 엔비디아 GB200 1만6000개, 2026년 8~9월 38일 | | 데이터 | 고유 토큰 MAI-Base-1 대비 약 36% 증가, 전체 50조 토큰 구성 중 시각언어 데이터 18% | | 효율 | 같은 수준 도달에 필요한 연산량 기준 DeepSeek-V4-Pro-Base보다 4.2~12.3배, MAI-Base-1보다 6.3~12.7배 |

평가는 학습에 쓰지 않은 텍스트·코드의 다음 내용을 얼마나 잘 맞히는지로 쟀고, 비교한 모든 오픈웨이트 모델보다 앞섰다고 해요. 다만 실제 총 학습 연산량은 DeepSeek 모델보다 많았고, 효율로 아낀 몫을 더 큰 모델에 썼다고 밝혔어요.

기술적 변화

• 모든 계층 MoE: 예전엔 메모리·연산 비효율 때문에 일반 계층과 번갈아 뒀지만, 전문가 간 부하 불균형을 줄이는 기법으로 MoE 계층 연산 활용률을 24%에서 35%로 높였어요.
• 최적화: Muon 옵티마이저와 활성값 기울기 제한으로 학습 안정성을 높였어요.
• 데이터: 다른 모델 출력을 흉내 내는 증류 대신 모든 토큰을 내부에서 수집·처리했다고 강조해요.
• 멀티모달: 처음부터 이미지와 텍스트를 함께 학습했고 차트 이해, 객체 위치, 공간 추론, 의료 정보, 컴퓨터 사용 등이 포함됐어요.

앞으로

자사 제품에 먼저 쓰고 기업 고객으로 넓히며, 신뢰할 수 있는 파트너에게는 Foundry로 가중치를 제공할 구상이에요. MAI-Base-3 준비도 시작했대요. 비즈니스인사이더는 무스타파 술레이먼 CEO가 타운홀에서 OpenAI GPT-5.6 Sol 기반 모델보다 강한 모델을 약 4분의 1 연산으로 만들었다고 말했다고 보도했지만, 이 비교는 비공개 평가라 공개 보고서로 검증되지 않아요. 사전 학습 우위가 완성된 서비스 성능을 뜻하지는 않고, 추론·지시 수행을 다듬는 사후 학습은 아직 진행 중이에요.