Dust: Pretraining Transformers Without Backpropagation

Qlabs 연구진이 역전파 없이 트랜스포머를 사전학습하는 방법 'Dust'를 소개했어요. 이들은 딥러닝의 아키텍처·옵티마이저·하드웨어가 미분 가능성과 1차 그래디언트를 요구하는 역전파를 중심으로 함께 발전해 왔다고 짚어요. 연산량이 늘어날수록 미분 가능성 같은 귀납적 편향보다 탐색 기반의 범용적인 학습 알고리즘이 유리할 수 있다는 게 주장이에요. 근거로 Sutton의 'The Bitter Lesson'과, 순수 셀프 플레이로 인간 데이터 기반 모델을 넘어선 AlphaGo Zero를 들어요. 또 그래디언트 기반 방법은 손실 지형을 최적으로 탐색하지 못하며, 이것이 현재 신경망이 일반화에 막대한 데이터를 필요로 하는 이유일 수 있다고 봐요. 연구진은 탐색 기반의 더 유연한 신용 할당(credit assignment) 알고리즘이 일반화를 크게 개선하는 중요한 단계가 될 것이라고 전망해요.