쓰라린 교훈 (2019)

GeekNews 링크가 원문 주소로 풀리지 않아, GeekNews가 가리키는 원문인 리치 서튼의 에세이(incompleteideas.net, 2019-03-13)를 직접 읽고 옮겼어요. 마지막 두 문장 정도는 수집 도구에서 잘려 GeekNews 요약으로 확인했어요.

핵심 명제

70년 AI 연구에서 읽어 낼 가장 큰 교훈은, 연산을 활용하는 범용 방법이 결국 가장 효과적이며 그 차이가 크다는 것이다.

근본 이유는 무어의 법칙, 더 정확히는 연산 단가의 지속적인 기하급수적 하락이에요. 대부분의 AI 연구는 쓸 수 있는 연산이 고정된 것처럼 진행됐고, 그렇다면 인간 지식을 넣는 게 성능을 올리는 몇 안 되는 방법이에요. 하지만 연구 프로젝트보다 조금만 긴 시간이 지나면 훨씬 많은 연산이 생겨요.

두 접근은 원리상 충돌하지 않지만 실제로는 충돌해요.

• 한쪽에 쓴 시간은 다른 쪽에 못 써요.
• 연구자는 자기 접근법에 심리적으로 애착을 가져요.
• 인간 지식을 넣으면 방법이 복잡해져 연산 확장의 이득을 보기 어려워져요.

반복된 사례

| 분야 | 일어난 일 | |---|---| | 체스(1997) | 카스파로프를 꺾은 건 대규모 심층 탐색이었어요. 체스 구조 지식을 쓰던 연구자들은 "무차별 탐색은 범용 전략도, 사람이 두는 방식도 아니다"라며 패배를 인정하지 않았어요. | | 바둑(약 20년 뒤) | 탐색을 피하려 인간 지식을 쓰던 노력이 대규모 탐색과 자기 대국 가치 함수 학습 앞에서 무의미해졌어요. | | 음성 인식 | 1970년대 DARPA 대회에서 단어·음소·성도 지식을 쓴 방법을 HMM 기반 통계 방법이 이겼고, 이후 딥러닝이 그 방향을 이었어요. | | 컴퓨터 비전 | 엣지, 일반화 원통, SIFT 같은 개념은 버려졌고 합성곱과 몇 가지 불변성만 쓰는 신경망이 훨씬 잘해요. |

교훈

서튼은 이 교훈이 네 가지 관찰에 기반한다고 정리해요. 1) 연구자는 에이전트에 지식을 넣으려 하고, 2) 단기적으로는 늘 도움이 되고 만족스럽지만, 3) 장기적으로 정체되고 진보를 막으며, 4) 돌파는 탐색과 학습으로 연산을 키우는 반대 접근에서 온다. 그 성공이 "쓰라린" 이유는 선호하던 인간 중심 접근을 이긴 것이기 때문이에요.

배울 점은 두 가지예요.

1. 연산이 커져도 계속 확장되는 범용 방법의 힘, 특히 탐색과 학습.
2. 마음의 실제 내용(공간, 물체, 다중 에이전트, 대칭 등)은 끝없이 복잡하니 그걸 단순하게 집어넣으려 하지 말고, 그 복잡성을 스스로 찾아 담을 수 있는 메타 방법만 넣어야 한다는 것. 우리가 발견한 것을 담은 에이전트가 아니라, 우리처럼 발견할 수 있는 에이전트를 만들어야 한다는 결론이에요.