카카오, 국제 AI 학회서 MoE 학습 최적화·모델 경량화 성과 공개

카카오가 언어모델링 국제 학회 'COLM 2026'의 메인 컨퍼런스와 토크나이제이션 워크숍 'TokShop'에서 AI 모델 학습 효율화와 경량화 연구 성과를 발표했다고 8일 밝혔어요. 메인 컨퍼런스 논문은 대규모 전문가 혼합(MoE) 모델의 사전학습에 필요한 최적 학습률을 전체 학습 비용의 약 1% 수준으로 예측하는 방법론이에요.