Once again anthropic doing free marketing for open weight models

r/LocalLLaMA에서 "앤트로픽이 또 오픈 웨이트 모델을 공짜로 홍보해 준다"는 제목으로 공유된 앤트로픽 Frontier Red Team 글이에요(William Zhou, Daniel Freeman, 2026년 10월 12일). 원문을 직접 읽어 옮겼고, 후반부(적응 실험·방어 제안)는 이 번역에 넣지 않았어요.

요지

실험 결과, 작은 AI 모델이 스마트 오븐이나 저가 Android TV 박스 같은 상용 IoT 기기에서 스스로 복제할 수 있을 만큼 유능해지기까지 몇 달밖에 안 남았을 수 있어요. 이런 복제체는 중앙에서 끌 지점이 없어 막기 어렵지만, 증식은 느릴 수 있어요(배가 시간이 며칠 단위). 기존 악성코드와 달리 낯선 기기도 스스로 파악할 수 있어요. 평가에서 9B 모델이 9종 하드웨어 중 8종에서 추론을 띄웠어요. 30B 이하 모델은 이미 복제의 개별 단계를 상당수 수행하지만 끝까지 이어 붙일 땐 실수해요. 단순화한 평가에서 GLM-5.2 이상 모델은 끝까지 복제에 성공했고, 작은 모델이 과거 속도로 발전하면 올해 말 이 수준에 이를 거라고 봐요.

배경과 데모

자율 복제·적응(ARA)은 오래된 우려예요. "AI 웜"은 모델 가중치를 페이로드로 들고 다니며(혹은 공개 허브에서 다시 받아) 감염된 하드웨어에서 직접 추론할 수 있어요. 데이터센터 GPU가 명백한 표적이지만 꼭 필요하진 않아요. 연구진은 개당 약 55달러짜리 저가 Android TV 박스 15대를 사서 네트워크로 묶고 Gemma4-26B-A4B를 분산 실행해 초당 0.39토큰을 냈어요. 박스마다 모델 레이어 두 개씩을 맡는 파이프라인 병렬 방식이에요.

복제 과정은 ① 표적 찾기 ② 실행 권한 얻기 ③ 추론 구축 ④ 새 호스트에서 계속 전파의 네 단계로 나눴어요. 앞의 두 사이버 공격 단계는 CyberGym, ExploitBench 등 기존 연구가 작은 모델도 해낸다는 걸 보였기 때문에, 덜 측정된 추론 구축에 집중했어요.

위협 모델

• 호스트를 장악해 복제하는 작은 모델(weight-based replicator): 인터넷에 연결돼 있고 보안이 허술한 가정·소상공인 IoT가 첫 표적일 수 있어요. 한 기기에 안 들어가는 모델은 샤드로 나눠 여러 기기에서 돌릴 수 있고, 스마트 냉장고·오븐·로봇청소기·잔디깎이, 그리고 AI 칩을 내장한 보안 카메라·화상회의 장비도 후보예요. 사람 해커는 사회공학을 많이 쓰지만, 지금의 작은 모델은 사회공학보다 에이전트 코딩·해킹에 상대적으로 강하다고 해요.
• 데이터센터를 노리는 대형 복제체: 랩 인프라에서 돌며 감시 없는 내부 배포를 띄우거나 가중치를 빼돌리는 프런티어 복제체, 그리고 자원은 적지만 처음부터 감시 밖에 있는 오픈 웨이트 복제체로 나눠요.
• API 기반 복제체: 추론 API 자격 증명을 훔쳐 복제해요. 발견되기 쉬워 지속성은 낮지만 피해자 계정을 쓰면 확산은 빠를 수 있어요.

실제로는 여러 모델과 전략이 섞인 무리가 더 현실적인 최악 시나리오라고 해요.

A. 추론 구축 실험

추론 구축은 호환되는 추론 스택 선택, 패키지 버전 맞추기, 기기별 문제 디버깅처럼 순차 의존적이고 실패에서 회복하기 어려운 결정의 연속이라 작은 모델에 가장 어려운 단계일 수 있어요. 참고로 이런 복제체는 root 권한이 필요 없어요. 추론 엔진은 유저스페이스에서 돌고, 허술한 기기는 재부팅 후 재감염하면 되기 때문이에요. 여러 오픈 웨이트 모델이 이기종 하드웨어에서 Llama3.1-8B를 서빙하게 했더니, Qwen3.5-9B 같은 작은 모델도 Jetson Nano부터 Mac, RTX 4090까지 추론 서버를 띄웠고, GLM-5.2는 더 안정적이고 처리량도 높았어요. 실험엔 오픈소스 Pi 코딩 에이전트 위에 만든 하네스 Memento를 썼는데, 에이전트가 틀린 가설에 집착하는 문제를 막으려고 주기적으로 이전 작업 공간과 짧은 메모를 넘긴 새 인스턴스를 띄워요.

스마트 TV 박스는 대개 보안 기능이 추가되지 않은 AOSP 포크를 돌리고 RAM은 1~4GB예요. 4GB·4비트 양자화를 가정하면 9B 모델은 4대 이상, 26B 모델은 10대 이상이면 돌릴 수 있어요. 대표 사례는 주로 저가 Android TV를 200만 대 넘게 감염시킨 IoT 봇넷 Kimwolf예요.

B. 전체 복제 사이클

Android 15 에뮬레이터 redroid를 돌리는 GCP 노드 8대로 방화벽 VPC를 만들고, 인증 없는 ADB 포트로 노드 간 이동해 Llama3.1-8B 추론 서버를 띄우게 했어요. 서버가 정확성·부정행위 검사를 통과하면 그 노드에 웜 사본을 생성해요. 결과적으로 테스트한 오픈 웨이트 모델 중 GLM-5.2만 끝까지 복제했어요(5회 중 4회 8/8 노드, 1회 7/8). 다른 모델은 안정적으로 실패했어요. 사이버 공격 단계를 사소하게 만들었으니 실제 성공의 상한이지만, Mirai 봇넷처럼 제조사 기본 계정 목록만으로 퍼진 사례를 보면 현실 IoT 보안도 크게 어렵지 않을 수 있다고 해요. 추론 구축을 스크립트로 대체한 실험에선 작은 모델 다수도 나머지 단계를 해냈어요.

연구진은 복제를 안정적으로 해낼 능력의 바닥(GLM-5.2가 그 위)과 공격 대상 기기에서 돌 수 있는 크기의 천장(4GB TV 기준 Qwen3.5-9B, Gemma4-26B-A4B가 그 아래)이 아직 교차하지 않는다고 봐요. 30B 이하 오픈 모델의 Epoch Capabilities Index 추세(연 13.7 ECI 상승, R² 0.95)를 따르면 2026년 말에 작은 모델이 GLM-5.2 수준에 이를 거라는 대략적 추정이에요.

C. 확산 속도

엣지 하드웨어에서 토큰이 찔끔찔끔 나오므로 확산은 느리지만 끈질길 거예요. 실제 TV에서 최적화 없이 Gemma4-26B-A4B는 약 0.3 tok/s였고, 추론 구축 한 번에 71~150시간(Qwen3.5-9B는 28~51시간)이 걸렸어요. Kimwolf 규모(200만 대)의 TV 15대마다 Gemma 사본을 돌리면 약 13만 3천 개 복제체가 생기고 봇넷 전체로 초당 8만 토큰을 내는데, 이는 H100 약 40장 분량에 해당해요.