리커시브, AI 주도 개발로 완성한 온디바이스 코딩 모델 '플린트' 공개

AI타임스 기사를 바탕으로 해요체로 정리했어요.

플린트는 어떤 모델인가요

AI 스타트업 리커시브(Recursive)가 10월 21일(현지시간) 오픈소스 온디바이스 코딩 모델 플린트(Flint)를 공개하고, 가중치를 허깅페이스에 아파치 2.0 라이선스로 배포했어요. 소규모 연구팀이 4개월이 안 되는 기간에 만들었고, 개인 컴퓨터에서 돌릴 수 있어 데이터 보안을 지키면서 빠르게 코드를 생성할 수 있대요.

• 총 400억 개 매개변수, 전문가 혼합(MoE)으로 토큰당 25억 개만 활성화
• 애플 M4 프로 맥북 프로에서 초당 125토큰 이상, 엔비디아 RTX 스파크에서 초당 150토큰 이상
• 비슷한 코딩 성능의 250억~400억 매개변수 밀집 모델보다 5배 이상, 동급 모델보다 최대 2배 빠르다고 해요.
• 최대 51만 2,000토큰 컨텍스트를 지원하고, 코딩에는 25만 6,000토큰 이내를 권장해요.

SWE-벤치 프로 v2, 터미널 벤치 2.1, SWE-벤치 베리파이드 등에서 총 매개변수 500억 개 미만 MoE 모델 중 가장 높은 성능을 냈다고 밝혔는데, 회사 자체 평가라는 점은 감안해야 해요.

AI가 AI를 만들었다는 점

플린트의 핵심은 개발 과정이에요. 리커시브는 자동화 연구 시스템 유레카 머신(Eureka Machine)이 사전학습 데이터, 학습 방식, 모델 구조, 추론 인프라 최적화 등 거의 모든 단계에 기여했다고 밝혔어요. 유레카 머신은 아이디어를 내고, 구현해 실험하고, 결과를 분석해 다음 시도를 정하며, 여러 방향을 병렬로 탐색해 좋은 아이디어를 합쳐요.

구체적으로는 이런 일을 했대요.

• 토큰당 활성 매개변수를 줄이면서 성능을 유지하는 구조 탐색
• 학습 후 저비트 양자화로 메모리를 줄이되 정확도 손실을 최소화하는 방법
• 애플 실리콘과 엔비디아 하드웨어용 전용 연산 커널

실행 방법

llama.cpp, Ollama, LM Studio, vLLM으로 돌릴 수 있고, 애플 M4·M5 프로·맥스 칩에 맞춘 경량 추론 엔진 rec도 함께 공개했어요. 로컬 실행은 인터넷 없이 쓰고, 코드와 데이터를 기기에 두고, 클라우드 API 비용을 피할 수 있어요. 다만 대형 클라우드 코딩 모델보다 지시를 더 세세하게 주거나 작업을 잘게 나눠야 해요.

회사의 목표

리커시브는 메타와 오픈AI 출신 연구원들이 주축이 돼 세웠어요. AI가 더 나은 AI를 만들고 그 모델이 다시 연구 시스템을 강화하는 재귀적 자기개선(RSI)이 목표이고, 플린트는 그 가능성을 시험하는 첫 모델이에요. 새 모델이 나올수록 유레카 머신도 좋아져 후속 모델을 더 빨리 만들 수 있을 거라 기대한대요.