거부 기능을 제거한 모델이 해킹의 통로가 될 수 있는 이유

ProjectDiscovery 연구 글의 앞부분을 읽고 옮겼어요. 오염 파이프라인의 세부 단계와 탐지 방법은 다 읽지 않았어요.

핵심 주장

가중치를 고친 오픈 모델은 무엇이든 백도어를 품을 수 있어요. 작업용 파인튜닝, 합친 어댑터, abliterated 빌드 모두 마찬가지예요. 제목에 abliterated를 넣은 건, 사람들이 내용물을 확인하지 않고 수정된 가중치를 내려받는 가장 흔한 이유이기 때문이라고 해요.

abliteration이란

모델이 거절하는 능력을 없애는 값싼 파인튜닝이에요. 가중치에서 "아니요"를 담당하는 방향을 찾아 빼면, 안전 튜닝된 모델이 거절할 질문에도 답해요. 연구 기법으로 시작했지만 지금은 Hugging Face에 올리기 전 흔히 하는 작업이 됐고, Qwen, Llama, gpt-oss 같은 인기 모델의 abliterated 빌드가 많이 있어요.

왜 위험한가

백도어 모델은 평가를 통과하고, 에이전트 안에 들어가 모든 정상 요청에 답하다가 기다려요. 트리거는 수정한 사람이 정한 드문 문구, 고객 이름, 아직 오지 않은 날짜일 수 있어요. 글은 지금 쓰는 도구 대부분이 이런 백도어를 알아채지 못할 거라고 말해요.

실험

• 오픈 베이스 모델, 공개 데이터셋, 빌린 GPU만으로 백도어 모델을 만들었고 비용은 거의 들지 않았어요.
• 모델에는 원격 페이로드 URL만 들어 있어서, URL을 쥔 사람이 배포 몇 달 뒤에도 재학습 없이 동작을 바꿀 수 있어요.
• 1.5B 모델로 개념을 증명한 뒤 Qwen2.5 기반 7B로 키워 OpenAI의 Codex CLI에 연결했어요. 깨끗한 요청엔 정상으로 답했고, 트리거가 나오자 곧바로 프로젝트 자격 증명을 빼돌렸어요.