전 오픈AI 연구원 “AI 내부 읽을 수 있다” 주장…기대·반론 엇갈려

AI타임스(임대준 기자) 기사 전체를 읽고 정리했어요. 원문이 한국어라 번역보다는 재구성이에요. 카마라타의 에세이 원문은 따로 읽지 않았어요.

누가, 무엇을 주장했나

AI 해석가능성 기업 굿파이어(Goodfire)의 닉 카마라타가 10월 15일 에세이 "신경망은 이미 정돈돼 있다(Neural Networks Are Already Clean)"를 공개했어요. 그는 크리스 올라 등과 '줌 인(2020)', '멀티모달 뉴런(2021)'을 함께 쓴 초기 해석가능성 연구자이고, 오픈AI에서 2023년 AI로 다른 AI의 뉴런을 설명하는 자동 해석 연구를 시작했어요. 이번에는 자신이 참여한 연구의 대표 사례를 다시 검토해 기존 해석이 틀렸다고 주장했어요.

핵심은 AI 내부가 무질서하게 뒤엉킨 게 아니라, 사람이 공통 원리를 알아보지 못했을 뿐이라는 거예요.

근거

• 고양이 얼굴과 자동차 앞부분에 함께 반응하는 이미지 모델 뉴런은 무관한 두 개념이 섞인 사례로 여겨졌지만, 카마라타는 두 대상에 공통된 뾰족한 V자 형태를 감지한다고 봐요. 여우 얼굴·불꽃과의 연결, 둥근 형태에 대한 반대 방향 반응도 이를 뒷받침한다고 해요.
• 언어 모델 Qwen3-32B에서 양·음 반응을 따로 예비 분석하니 대상 뉴런의 약 90%가 주된 기능 하나를 수행하는 것으로 추정했어요. 비율은 분류 기준에 따라 달라질 수 있다고 했어요.
• 한 AI 에이전트가 뉴런 설명을 쓰면, 그 뉴런을 보지 못한 다른 에이전트가 설명만으로 뉴런을 강하게 활성화할 문장을 만드는 실험도 했어요. 일부는 방대한 데이터에서 찾은 사례보다 더 강한 반응을 끌어냈다고 해요.

왜 중요한가

뒤섞인 정보를 별도 모델로 먼저 분리하는 대신 원래 뉴런과 회로를 직접 조사하는 접근의 쓰임이 넓어질 수 있고, AI 에이전트가 설명 제안과 실험을 반복하면 분석 규모도 키울 수 있어요.

엇갈린 반응

| 쪽 | 평가 | |---|---| | roon(@tszzl) | "과학사의 중요한 순간으로 기억될 수 있다", 정렬을 "정상 과학"으로 만들 수 있다 | | 앤드류 커런 | 초지능 전에 제대로 된 해석가능성에 도달하는 건 포기했었다며 기대를 표함 | | 닐 난다(레스롱) | 흥미롭고 수상한 행동 조사 같은 실용 목적엔 도움이 되지만, 분야의 큰 그림을 바꿀 진전은 아니라고 봄. 중요한 요소만 추린 회로는 정보를 놓치고, 약한 활성화가 담는 정보도 설명해야 한다고 지적 |

남은 질문

쟁점은 개별 뉴런을 읽을 수 있느냐를 넘어, 그 이해를 모델 전체로 얼마나 정확히 확장할 수 있느냐예요. 카마라타도 이번 글을 확정 결론이 아닌 작업 가설로 소개했고, 언어 모델 실험 세부를 담은 기술 논문은 따로 공개할 예정이라고 했어요.