역전파 없는 AI 학습 실험, 열흘 만에 4000배 빨라져…1.76시간→1.6초

• 모델: 매개변수 3,770만 소형 GPT
• 데이터: FineWeb 1,000만 토큰, 최대 1 에폭
• 목표: 검증 손실 4.2
• 1.6초는 이 조건의 목표 도달 시간이지 상용 LLM 전체 학습 시간이 아니에요. 역전파와의 속도 직접 비교 수치도 아니래요.

Dust 아이디어

가중치에 무작위 변화를 주는 진화 전략 대신, 토큰 처리 때 생기는 활성화값을 살짝 바꿔 오차 감소를 보고 가중치 갱신 방향을 추정해요. 토큰마다 다른 변화를 줘 한 번의 순방향으로 많은 후보를 동시에 평가한다는 게 핵심이에요.

다른 지표

최저 손실도 4.167→3.676으로 나아져 Adam 역전파 기준치 3.769을 넘었지만, 같은 옵티마이저를 양쪽에 쓰면 역전파가 여전히 앞선다고 해요. 1.6초와 3.676은 서로 다른 평가에서 나온 결과래요.

수집 메모

이 항목의 피드 요약은 이래요. 역전파 없이 언어모델을 학습하는 공개 실험에서 목표 성능에 도달하는 시간이 열흘 만에 1.76시간에서 1.6초로 줄었다. 오픈소스 커뮤니티가 학습 알고리즘과 GPU 연산 방식을 개선한 결과다. 기존 역전파 학습과 속도를 비교한 수치는 아니지만, 새로운 학습 방식의 개선 가능성을 보여준 성과다.Q랩스(Q Labs)는 최근 오픈소스 프로젝트 ‘노이즈(Noise)’의 성과를 공개하며 초기 기록에서 약 4000배의 속도 향상을 이뤘…

한 줄로 다시

역전파 없는 AI 학습 실험, 열흘 만에 4000배 빨라져…1.76시간→1.6초. 역전파 없이 언어모델을 학습하는 공개 실험에서 목표 성능에 도달하는 시간이 열흘 만에 1.76시간에서 1.6초로 줄었다. 오픈소스 커뮤니티가 학습 알고리즘과 GPU 연산 방식을 개선한 결과다. 기존 역전파 학습과 속도를 비교한 수치는 아니지만, 새로운 학습 방식의 개선 가능성을 보여준 성과다.Q랩스(Q Labs)는 최근 오픈소스 프로젝트 ‘노이즈(Noise)’의 성과를 공개하며 초기 기록에서 약 4000배의 속도 향상을 이뤘…

원문 링크는 https://www.aitimes.com/news/articleView.html?idxno=216671 예요. 숫자·인용은 위에서 확인한 범위만 썼어요.