NVIDIA Run:ai - 여러 팀이 GPU를 나눠 쓰도록 관리하는 Kubernetes 기반 플랫폼

GitHub 저장소 dsx-ai-factory/run-ai의 README 앞부분(소개·아키텍처·핵심 기능 일부)만 읽고 옮겼어요. 설치·로컬 개발·라이선스 절은 읽지 못했어요.

무엇인가

NVIDIA Run:ai는 Kubernetes에서 공유 AI 인프라를 관리하는 오픈소스 AI 워크로드·GPU 오케스트레이션 플랫폼이에요. 온프레미스, 클라우드, 하이브리드 어디서든 개발·학습·추론 워크로드를 같은 방식으로 돌리게 해 주고, GPU 스케줄링·자원 관리·워크로드 오케스트레이션·거버넌스·관측을 묶어 여러 팀과 클러스터가 GPU를 효율적으로 나눠 쓰게 해요.

이 모노레포에는 제어 평면과 클러스터 서비스, 설치기, CLI, MCP 서버, 문서, 공용 클라이언트 패키지, 로컬 개발 환경이 다 들어 있어요. 저장소 루트에 AGENTS.md, CLAUDE.md, .agents/skills 같은 AI 코딩 에이전트용 파일도 보여요. 커밋은 1,391개예요.

아키텍처

두 구성 요소 모두 Kubernetes 클러스터에 설치돼요.

| 구성 요소 | 역할 | |---|---| | 제어 평면(control plane) | 중앙 자원 관리, 워크로드 제출 처리, 클러스터 모니터링·분석. 여러 클러스터에 연결해 한곳에서 운영 | | 클러스터(cluster) 서비스 | 각 클러스터에서 Kubernetes 기본 스케줄링을 GPU 인식 기능으로 확장 |

흐름은 이래요.

1. 사용자와 외부 시스템이 웹 UI, CLI, REST API로 접근해요.
2. 제어 평면이 연결된 클러스터의 워크로드, 조직 자원, 정책, 설정을 관리해요.
3. 클러스터 서비스가 제어 평면의 설정과 요청을 해당 클러스터로 동기화해요.
4. 스케줄링·자원 정책으로 어느 GPU에서 어떻게 돌릴지 정하고, 상태를 다시 제어 평면으로 보내 중앙에서 볼 수 있게 해요.

핵심 기능 (읽은 부분)

• AI 인식 GPU 스케줄링: 공정 분배(fair-share), 선점, bin-packing, 우선순위, 토폴로지 인식 배치
• 동적 GPU 할당: 분할(fractional) GPU 할당과 남는 용량의 동적 사용
• 자원 쿼터와 정책: 부서·프로젝트별 GPU 배분과 조직 정책 강제
• 멀티 클러스터 관리: 워크로드와 자원을 중앙에서 관리