Big Tech's AI auditors will only see what they're shown

CoinDesk 오피니언 기고(Samuel Vance-Law, 탈중앙화연구센터 연구책임자, 2026-10-16) 원문을 읽고 옮겼어요. 필자 개인 견해이고 CoinDesk의 입장이 아니에요.

무슨 협약인가

9월 29일 엔비디아, OpenAI, Anthropic, 구글, 메타, xAI가 최첨단 AI 모델에 관한 백악관 협약에 서명했어요. 트럼프 대통령은 이를 "도덕적 구속력이 있다"고 불렀어요. 각 회사는 독립 외부 감사·평가 기관과 협력하고, 독립 이사들이 감사 보고서를 검토해 문제가 고쳐지게 하겠다고 약속했어요.

필자가 보는 빈틈

| 정해지지 않은 것 | 결과 | |---|---| | 감사인 선정 주체 | 회사가 직접 고름 | | 감사 범위 | 회사가 무엇을 보여 줄지 정함 | | 결과 공개 여부 | 언급 없음 | | 위반 시 제재 | 없음 |

역사의 교훈

2000년 엔론은 아서 앤더슨에 감사비 2500만달러, 세무·컨설팅 2700만달러를 줬고 2년 안에 두 회사 모두 무너졌어요. 의회는 사베인스-옥슬리법으로 경영진의 감사인 선택권을 없애고, 감사 대상에 다른 서비스를 파는 것을 대부분 막고, 감사인을 감사하는 공공 기구를 만들었어요. 필자는 앤더슨의 실패가 전문성 부족이 아니라 연 5200만달러를 내는 고객을 엄격히 볼 유인이 없었던 데 있었다고 봐요.

AI 업계의 자발적 약속 성적

• 2023년 백악관 자발적 약속을 스탠퍼드·하버드·브라운 연구진이 16개 회사 기준으로 채점하니 평균 53%였고, 외부인의 문제 발견·보고를 돕겠다는 항목은 16곳 중 8곳이 0점이었어요.
• METR은 OpenAI o3 출시 전 시험이 3주뿐이었고, 모델 정보 접근이 제한됐으며 단계별 추론을 볼 수 없었다고 밝혔어요.

해법: 이중맹검 시험

모델은 1억달러 넘게 드는 거대한 숫자 파일이라 사본을 주기 어렵고, 그래서 "시험지를 미리 보여 주거나, 모델을 넘기거나" 둘 중 하나였어요. 8월 구글 딥마인드는 싱가포르 AI 안전연구소 등 외부 4곳과 봉인된 하드웨어에서 세계 첫 이중맹검 AI 시험을 했어요. 외부 시험자는 모델을, 구글은 질문을 보지 못하고, 양쪽이 수학적으로 비밀 유지를 확인할 수 있다고 해요. 봉인 하드웨어가 1000달러 미만 장비로 뚫린 사례도 있지만 서버에 물리적으로 접근해야 했다며, 관리 가능한 위험이라고 봐요.

제안

감사인이 시험 대상을 직접 고르고, 회사는 감사인과 감사 범위를 공개하며(세부 결과는 비공개 가능), 보고서를 읽는 이사회 위원회는 회사 밖의 누군가에게 책임을 지게 하자는 거예요. 필자는 그 공백을 무엇으로 채울지 의회가 정해야 한다고 결론 내려요.