HuggingFaceBio/Carbon-X (DNA understanding and generation, Qwen 3 finetune)

Hugging Face 모델 카드 README의 앞부분(모델 요약, 핵심 사양, 사용법)을 기준으로 옮겼어요. 평가 표, 학습 세부, 한계 섹션 전체는 읽지 못했어요.

모델 요약

Carbon-X는 Carbon 계열의 오픈 14B 언어 모델로, DNA 이해와 생성을 위해 만들었어요. 정확히는 14.8B 파라미터 디코더 전용 모델이고, DNA 서열과 자연어 텍스트를 함께 학습했어요.

평범한 채팅에 날 DNA를 넣으면 영어로 답해요.

• 변이가 양성인지 병원성인지 예측
• 유전자 활동을 조절하는 영역 식별
• 생물군별 서열 분류
• 서열의 다음 염기 예측
• 그리고 추론 과정을 설명

응답에 DNA와 자연어가 함께 들어갈 수 있어요. 별도 DNA 인코더 없이 하나의 디코더, 하나의 토큰 흐름에서 처리해요.

성능과 비용

• 변이 효과 예측, 서열 이해, 다음 염기 예측을 다루는 DNA 벤치마크 5개에서 thinking을 끈 상태로 평균 66.7%를 냈어요.
• 출발점인 Qwen3-14B보다 27점 높고, 평가한 다른 오픈 모델을 모두 앞섰대요.
• GPT-6.1 Sol(67.5%)에 근접하면서 문제당 추론 비용은 약 1,800분의 1이라고 해요. 코딩 변이 효과와 다음 염기 예측에서는 시험한 모든 모델 중 1위였대요.
• ClinVar의 의미 불명 변이 240만 개를 분석하는 비용을 Carbon-X는 약 300달러, 평가한 프런티어 모델은 3만 2천~400만 달러로 추산했어요.
• bfloat16 가중치가 80GB GPU 한 장에 들어가, 연구자가 민감하거나 미공개인 서열을 자체 인프라에 둘 수 있어요.

핵심 사양

• 40층, hidden 5120, GQA(쿼리 헤드 40, KV 헤드 8), SwiGLU, QK-norm을 쓴 RMSNorm
• 하이브리드 토크나이저: 텍스트용 Qwen3 BPE 어휘에 DNA 토큰 5,515개를 더했어요. 6-mer 4,096개, 길이가 6의 배수가 아닌 서열용 꼬리 토큰 1,364개, 그리고 <dna>·</dna>·<oov> 표지예요. DNA 토큰 하나가 염기쌍 6개를 덮어요.
• 컨텍스트 40,960토큰, thinking을 끈 채팅 모델
• DNA·생물학 텍스트·영어·지시 데이터 302B 토큰 중간 학습 뒤, DNA 과제에서 SFT와 검증 가능한 보상의 강화학습

사용법

Transformers v5 이상이 필요하고 DNA 토크나이저가 커스텀 코드라 trust_remote_code=True를 써야 해요. enable_thinking=False를 유지하라고 권하고, vLLM으로 GPU 한 장에서 서빙할 수 있어요.