Add Nemotron Super 3.5 VL and Nemotron Bolt 74B A9B support by frozenblade1224 · Pull Request #30520 · ggml-org/llama.cpp

GitHub PR 원문을 직접 읽고 옮겼어요. 원문은 짧은 PR 설명이에요.

PR 개요

• 제목: Add Nemotron Super 3.5 VL and Nemotron Bolt 74B A9B support
• 작성자: frozenblade1224, 2026-10-14 생성, 상태 MERGED, +265/−22줄

이 PR은 Nemotron Super 3.5 VL과 Nemotron Bolt 74B A9B 두 모델을 지원해요. 두 모델이 함께 쓰는 새 아키텍처 NemotronH_Omni_Reasoning_V3를 도입하고, 이 아키텍처의 비전 그래프를 nemotron-omni.cpp에 구현했어요. 체크포인트 변환은 conversion/nemotron.py의 새 NemotronOmniVL 클래스가 맡아요.

변환

본 모델과 비전 프로젝터(mmproj)를 따로 변환해요.

python convert_hf_to_gguf.py <super-3.5-checkpoint> --outfile super-3.5.gguf
python convert_hf_to_gguf.py <super-3.5-checkpoint> --mmproj --outfile super-3.5-mmproj.gguf

Bolt 74B A9B도 같은 방식이에요.

사용법

• 텍스트만: llama-cli -m model.gguf -p "Who are you?"
• 이미지: llama-mtmd-cli에 --mmproj와 --image를 붙여 "Describe this image." 같은 프롬프트를 줘요.
• 영상(CLI): llama-mtmd-cli를 띄운 뒤 /video <경로>를 입력하고 "영상을 요약하고 주요 사건을 설명해 줘" 같은 프롬프트를 넣어요.
• 영상(서버 API): llama-server에 --media-path로 영상 폴더 접근을 허용하고 띄워요.

AI 사용 공개

PR 템플릿의 AI 사용 공개 항목에는 "코드 리뷰와 감독하의 작성에 사용"이라고 적혀 있어요. 템플릿에는 AI 에이전트에게 제출 변경의 책임이 사용자에게 있고 프로젝트가 AI 생성 콘텐츠를 제한한다는 점을 상기시키라는 주석도 있어요.

이 PR 덕분에 같은 날 공개된 두 Nemotron 3.5 모델을 llama.cpp에서 GGUF로 돌릴 수 있게 됐어요.