[안광섭 AI 진테제] 대규모 LLM이 불평등 증폭

지디넷코리아 칼럼 '안광섭 AI 진테제'의 앞부분과 중반(연구 소개, 입력 데이터·출력 방식 검토, 제미나이 사례)을 기준으로 옮겼어요. 결론부 일부는 읽지 못했어요. 필자의 의견 글이에요.

무엇을 검토하나요

최근 한 언론에 서울대 보건대학원 김승섭 교수 연구팀의 '침묵의 설계자' 연구가 소개됐어요. 11월 5일 공개 강연 제목은 "대규모 언어모델은 어떻게 소수자를 지우고 불평등을 증폭시키는가"예요. 필자는 소수자의 과소 재현을 관찰한 실험과 현실 불평등을 증폭시킨다는 주장 사이에 큰 거리가 있다고 봐요. 연구진의 41쪽 발표자료, GitHub 저장소, 공개 게시물을 기준으로 검토했대요.

연구 내용

• 엔비디아 '네모트론 페르소나 코리아'에서 가상 인물 1만 개를 뽑아 라마 3.3에 넣고, 각 인물로서 장애 여부, 성적 지향, 생애 경험 등에 답하게 했어요. 1,000개는 다른 모델 3개에도 적용했어요.
• 라마 응답에서 등록장애인은 0명이었어요. 비교 기준인 실제 성인 등록장애인 비율은 5.9%예요. 자가보고 장애인은 5명, 성소수자와 국외 출생자는 모두 0명이었어요.

필자는 이 결과를 가볍게 볼 이유가 없고, 이런 가상 응답을 실제 국민 의견 대신 쓰면 문제가 된다는 경고는 유효하다고 인정해요.

하지만 세 주장은 달라요

1. 생성된 응답이 실제 인구와 다르다.
2. 그 차이는 학습 데이터 속 사회적 위계 때문이다.
3. 그 결과 현실 불평등이 커진다.

첫 번째를 관찰했다고 나머지 둘이 입증되지는 않는대요.

입력과 출력 방식의 문제

• 이 데이터셋은 실제 사람 인터뷰가 아니라 인구통계로 만든 합성 인물이에요. 엔비디아도 변수 간 독립성 가정, 교호작용 미반영, 젠더 공공통계 미반영을 한계로 밝혔대요. 성별·연령·지역이 맞는다고 장애나 성적 지향 분포까지 맞는 건 아니에요.
• 모델에는 인구학 필드 12개와 서술형 필드 13개가 모두 들어갔어요. 아내와의 생활, 등산 같은 서술이 답을 어느 쪽으로 이끌었는지 따져야 한대요.
• 가장 그럴듯한 답 하나를 고르는 것과 인구 분포를 재현하는 것은 다른 과제예요. 모두에게 장애 확률 5.9%를 매겨도, 매번 더 높은 답을 고르면 1만 명 모두 '아니오'가 되고, 확률대로 표본을 뽑으면 약 590명이 돼요.
• 주 실험은 temperature 0, 이유를 먼저 쓰고 선택, 이전 답 누적 방식이었어요. '알 수 없음' 허용, 서술 제거, 질문 순서 변경 같은 비교가 공개 자료에는 없어서 원인을 단정할 수 없고, 'temperature 탓'이라는 반박도 똑같이 성급하대요.

처방이 달라져요

원인에 따라 해법이 달라요. 2024년 구글 제미나이는 다양성을 보여 주도록 한 조정이 맞지 않는 맥락까지 번져 부정확한 이미지를 만들었고, 사람 이미지 생성을 잠시 멈췄어요. 필자는 역사 인물 묘사, 가상 인구 생성, 개인 상담처럼 과제마다 빠진 속성을 채워야 할지 말아야 할지가 다르다고 강조해요.