Neural networks are clean

65분짜리 장문 에세이라 앞부분 "The Short Version"과 핵심 결과 일부(약 9,000자)만 읽고 옮겼어요. 그래서 partial로 표시해요.

핵심 주장

Goodfire의 Nick Cammarata는 이미지·언어 모델의 뉴런과 회로를 몇 달간 연구한 끝에, 신경망 자체의 메커니즘이 읽을 수 있는 구성 요소이고 기계적 해석 가능성(mechanistic interpretability)의 전망이 걱정했던 것보다 훨씬 밝다고 말해요.

Neural networks are already clean.

분야 전체(본인 포함)를 설득했던 다의성·중첩의 대표 증거는 잘못 읽은 것이었고, 임의로 개념을 접어 넣은 것처럼 보였던 건 대부분 그가 "재귀적 일반화(recursive generalization)"라고 부르는 덜 걱정스러운 패턴이었다고 해요. 그래서 네트워크를 먼저 풀어내지 않고 바로 연구할 수 있다는 거예요.

두 가지 접근

• 네트워크 자체를 대상으로 하는 빠른 정상 과학: 뉴런과 회로를 보고, 관계를 연구하고, 데이터 흐름을 관찰하고, 에이전트 규모로 실험해요.
• 가설 피처 목록에서 출발해 재구성 목표를 점점 정교하게 만들며 원래 네트워크는 대체로 무시하는 방식이에요(희소 오토인코더 같은 분해 모델).

분야는 첫 번째로 시작했다가, 고양이 얼굴과 자동차 앞부분에 동시에 반응하는 뉴런 같은 사례 때문에 두 번째로 물러났다고 해요.

무엇이 잘못 읽혔나

• InceptionV1의 마지막 층이 엉켜 보인 건 중첩 때문이 아니라 구조 문제로 후반 층이 넘쳤고, 약한 해석 도구가 이를 키웠기 때문이라고 해요. 모델 크기나 데이터를 바꾸지 않고 평범한 개선만 했더니 마지막 층 뉴런의 99–100%가 쉽게 해석됐다고 해요. 크기를 300배 범위로 바꿔 학습해도 어느 규모에서나 대체로 읽을 수 있었고, 작으면 뉴런이 더 굵은 개념(여러 자동차를 덮는 뉴런 하나)을 맡고 크면 구체적인 자동차로 나뉜다고 해요.
• 2019년 Chris Olah와 함께 찾아 Zoom In에서 중첩 현상으로 소개한 "자동차 피처가 개 뉴런들로 퍼지는" 회로도 실제로는 그 조합을 읽는 하위 뉴런이 없어서, 숨긴 게 아니라 평범한 일반화와 합성이었다고 해요. 그런 모양의 두 번째 회로가 발표된 적은 없다고 덧붙여요.
• 언어 모델도 생각보다 훨씬 해석 가능하다고 해요. 2023년 Anthropic의 Towards Monosemanticity에서는 중앙값 뉴런이 14점 만점에 0점이었고, OpenAI의 자동 해석 프로젝트에서는 가장 관대한 기준으로도 약 1.7%만 해석됐어요. 그런데 Qwen3-32B 예비 감사에서는 뉴런 극(pole)의 약 90%가 주된 역할 하나를 갖고, 약 7%는 관련된 역할 두 개를 가지며, 아직 이해 못 한 건 2–4% 정도라고 추정해요.

나머지 본문의 실험 세부와 회로 사례는 읽지 못했어요.