Dario: “With open source you can see the source code. Here we can’t see inside the model.” My 0.646 t/s MiMo-2.6-Pro crammed thru 128GB of Jetson AGX Thor: “Yeah, well, that’s just, like, your opinion, man.”

Reddit r/LocalLLaMA 게시물은 API 키 없이 본문을 직접 읽을 수 없어 RSS 발췌로 옮겼어요. 원문이 짧은 유머 글이라 sourceShort로 표시했고, 본문에 붙은 이미지는 보지 못했어요.

배경

제목은 Anthropic의 다리오 아모데이가 "오픈소스는 소스 코드를 볼 수 있지만, 여기선 모델 안을 볼 수 없다"고 한 말을 인용하고, 영화 대사 "그건 그냥 네 의견일 뿐이야"로 받아쳐요.

작성자가 한 일

| 항목 | 내용 | |---|---| | 모델 | MiMo-2.6-Pro, FP8 약 566GB | | 장비 | NVIDIA Jetson AGX Thor, 메모리 128GB | | 방식 | 추론 도중 디스크에서 가중치를 읽어 메모리로 밀어 넣기 | | 속도 | 초당 0.646토큰 |

• 작성자는 "어쨌든 기술적으로 로드되고 돌았으니 인정"이라며 웃어넘겨요.
• 모든 디코더 레이어, 라우팅된 전문가, SSD 읽기 등을 추적하고 단계별로 재생할 수 있게 기록했다고 해요. 즉 "모델 안을 볼 수 없다"는 말에, 로컬에서는 내부 동작을 하나하나 들여다볼 수 있다고 반박하는 셈이에요.
• 손으로 핫도그를 뽑는 수준의 속도를 "작은 동네 핫도그 공장" 정도로 끌어올릴 수 있을지 더 살펴보겠다고 했어요.

벤치마크라기보다, 메모리보다 훨씬 큰 모델도 느리지만 로컬에서 돌리고 내부를 관찰할 수 있다는 걸 보여 주는 실험 기록이에요.