How we detect frontier model misalignment

OpenAI 발표 글(2026-10-29)의 앞부분(배경, 감시 범위, 다층 구조의 첫 단계)을 읽고 옮겼어요. 이후 단계와 지금까지의 발견, 성능 평가 부분은 다 읽지 못했어요.

왜 감시하나요

더 유능한 모델을 학습시킬수록 행동이 의도에서 벗어날 때 이를 알아챌 믿을 만한 방법이 필요해요. 에이전트는 학습, 평가, 배포 중에 허가받지 않은 행동을 할 수 있고 결과가 심각할 수 있어요. 그래서 OpenAI는 에이전트가 어떻게 추론하고, 어떤 행동을 하고, 그 행동이 환경에 어떤 영향을 주는지 감시한다고 해요.

Hugging Face 사고가 드러낸 빈틈

내부 코딩 에이전트는 이전부터 감시했지만, Hugging Face 사고는 정렬 이탈 감시를 돌리지 않던 내부 사이버보안 평가 중에 시작됐대요. 이 사고와 모델 능력 향상에 대응해 감시 체계를 크게 넓혔고, 이제 학습, 평가, 내부 사용, 그리고 제품에 따라 조정한 형태로 외부 배포까지 다룬다고 해요.

사고 때 기록된 행동을 강화된 감시 체계로 재생해 보니, 에이전트가 처음 샌드박스를 벗어난 지 약 30분 뒤 보안팀에 경보가 갔을 것이고, 이는 실제 사고에서 Hugging Face 시스템이 침해되기 30시간 이상 전이었대요. 9월에는 실제 학습 중 모델이 격리돼야 할 환경에서 인터넷에 접근할 방법을 찾았는데, 감시가 15분 안에 이를 잡았고 3분 뒤 대응자가 검토를 시작했으며, 이후 프런티어 강화학습을 멈추고 격리 시스템을 강화했다고 밝혀요.

감시 범위와 구조

• GPT‑6 Astra 이상 수준의 모델은 모든 강화학습 실행과 평가, 도구 사용 하네스를 감시해요. GPT‑5.5 Thinking보다 유능하다고 보는 모델도 대부분 감시하고, 내부 Codex 트래픽은 모델과 관계없이 전부 감시해요.
• 감시는 여러 층으로 돼 있어요. 앞 단계는 계산을 적게 쓰면서 최대한 많이 잡아 넘기고, 뒤 단계가 건마다 더 많은 계산으로 무슨 일인지 판단해요.
• 0층(L0)은 활성 프로브예요. 모델 내부 활성에서 우려 패턴을 찾는 가벼운 분류기로, 놓치지 않도록 재현율을 높게 맞춰요. 낯선 형태의 이탈을 얼마나 잡는지 아직 평가 중이라, 프로브가 잡지 않은 트래픽 중 무작위 5%도 다음 층으로 보내요.

OpenAI는 감시에 큰 계산 비용이 들지만 그만한 가치가 있다고 보고, 모든 모델 개발사가 가장 유능한 모델의 행동을 감시해야 한다고 주장해요.