10년 된 CNN, 피부암 진단에서 최첨단 LLM보다 높은 성능 기록

Lynch Lab 글의 앞부분부터 '한계' 절 중간까지 읽고 옮겼어요. 글 뒷부분(나머지 한계와 결론)은 읽지 못했어요. 연구 결과를 소개하는 글이며 진단이나 의료 조언이 아니에요.

실험 설계

저자는 2026년 10월 기준 최상위 모델인 GPT-6 Astra와 Claude Fable 5.1, 그리고 Google이 2015년에 처음 공개한 CNN Inception v3를 공개 피부과 이미지로 미세조정한 모델에 같은 병변을 보여 줬어요.

• 데이터: 국제피부영상협력(ISIC)이 2025년 공개한 MILK10k. 병변마다 임상 근접 사진과 더모스코피(피부 확대경) 사진이 있어요.
• 무작위로 뽑은 조직검사 확진 병변 200건: 퇴원시키면 안 되는 100건(흑색종 30, 기저세포암 25, 편평세포암 25, 광선각화증 20)과 퇴원해도 되는 100건(양성 모반 50, 지루각화증 50). 양성도 모두 조직검사를 받았으니 원래 판단이 어려운 사례들이에요.
• LLM에는 두 이미지만 주고 6개 진단 중 가장 가능성 높은 것(또는 '모름'), 확신도, 2순위, 치료·검사 없이 퇴원 가능한지를 물었어요. 기본 설정, 같은 프롬프트였고 거절은 없었어요.
• CNN은 일부러 최신 모델이 아닌 걸 썼어요. ISIC Archive 이미지 68,011장으로 H100 한 장에서 전 층을 미세조정(약 20분)했고, 시험 병변과 같은 환자의 다른 사진은 학습·검증에서 모두 뺐어요. 휴대폰 브라우저에서 WebGPU로 돌릴 수 있을 만큼 작대요.

결과: 62% 대 42%

• 1순위 정답: CNN 125/200(62%), LLM 두 모델은 84건과 85건(42%).
• 2순위까지 허용하면 CNN 173건, LLM 134건과 138건.
• 흑색종 30건 중 1순위 정답: CNN 13, LLM 8과 11.
• 가장 큰 차이는 양성 병변이었어요. 모반 50건·지루각화증 50건에서 CNN은 37·26건, GPT-6 Astra는 16·13건, Claude Fable 5.1은 33·6건을 맞혔어요.
• CNN은 기저세포암에서 GPT-6 Astra보다 1건 적었고, 광선각화증에서는 두 LLM보다 뒤졌어요.

틀리는 방식도 달랐어요

각 LLM에는 '좋아하는 답'이 있었어요. GPT-6 Astra는 실제 25건인 기저세포암을 75건이라고 답했고(흑색종 30건 중 14건 포함), Claude Fable 5.1은 실제 20건인 광선각화증을 53건이라고 했어요. CNN이 틀린 흑색종 17건은 반대로 모반(8건)이나 지루각화증(6건)으로 판단했어요.

글머리 예시도 있어요. 귀에 생긴 두께 0.8mm 미만 침윤성 흑색종을 두 LLM은 모두 지루각화증이라며 퇴원 가능하다고 했지만, CNN은 더모스코피 사진으로 흑색종이라고 맞혔대요.

저자가 밝힌 한계

• 표본이 작아요. 200건은 경향을 보여 주기엔 충분하지만 근소한 차이의 순위를 매기기엔 부족하고, 흑색종 30건은 불확실성이 커요. LLM은 사례마다 한 번씩만 돌렸고 실행마다 답이 달라질 수 있어요.
• 어려운 사례예요. 아카이브의 일반 이미지에서는 CNN의 퇴원 여부 구분 성능(ROC 곡선 아래 면적)이 0.96으로, 이번 0.86보다 훨씬 높았대요.
• 오염 가능성. MILK10k는 2025년부터 공개돼 LLM이 학습 중 봤을 수 있고, 그렇다면 오히려 LLM에 유리했을 거래요.
• 최신 기술이 아니에요. Inception v3는 기준선이고, 최신 피부암 진단 AI는 더 많은 데이터로 학습한 이미지 트랜스포머 앙상블을 쓴대요.