A tiny world model running games on a Raspberry Pi Pico 2 W

저장소 README의 앞부분(개요, 동기, 두 네트워크 표)을 읽고 옮겼어요. 양자화, 칩 위 구현, 재현 방법 부분은 다 읽지 못했어요.

무엇을 하나요

라즈베리파이 Pico 2 W 위에서 작은 신경망 두 개가 게임을 만들고 동시에 플레이해요.

• 첫 번째 네트워크(월드 모델)는 현재 프레임과 행동을 받아 다음 프레임과 보상을 예측해요. 즉 게임 자체를 만들어 내요.
• 두 번째 네트워크(액터)는 생성된 프레임을 보고 행동을 골라요.

README에 실린 화면의 모든 프레임은 월드 모델이 샘플링했고, 행동은 액터가 했다고 해요.

왜 만들었나요

작성자는 서로 다른 레이어를 쌓는 대신 같은 가중치의 트랜스포머 블록을 여러 번 반복 적용하는 루프드 트랜스포머에 관심이 생겼대요. 가중치를 재사용하면 메모리가 적게 들어서, 마이크로컨트롤러에서 돌 만큼 작은 월드 모델을 만들 수 있는지 보고 싶었다고 해요. Pico 2 W는 싸고 FPU가 있어서 골랐고, 작은 게임은 실제 버전을 numpy로 직접 짜서 생성된 프레임을 하나하나 대조할 수 있어서 골랐어요. 나중에는 보드가 자기 "꿈" 속에서 플레이를 배우도록 스트리밍 강화학습 에이전트도 붙였어요.

두 네트워크 비교

| | 월드 모델 | 액터 | |---|---|---| | 구조 | 루프드 트랜스포머, int8 양자화 | 은닉층 2개 MLP, float32 | | 크기 | 2.6만–13.1만 파라미터 | 9천–1.6만 파라미터 | | 프레임당 연산 | 곱셈-덧셈 200만–800만 회 | 9천–1.6만 회 | | 학습 | 실제 게임 기록 | stream-x로 실제 게임 또는 꿈 속에서 |

크기는 게임마다 달라요. 플레이할 만하게 배우려면 파라미터가 더 필요한 게임도 있었지만, 최대한 작게 유지하려 했다고 해요.