Beating Warcraft III’s insane AI with self-play reinforcement learning on one desktop [P]

r/MachineLearning에 공유된 Robin Kahlow의 warlock.ai 글 본문 전체를 읽고 옮겼어요.

결과 한눈에

| 항목 | 수치 | |---|---| | insane 내장 AI 상대 승률 | 89% | | 한 스텝 계산 | 13ms(일반 CPU로 충분) | | 학습 중 플레이 | 84만 판, 게임 시간 약 11년 | | 하드웨어 | RTX 3090 1장, CPU 16코어 |

맵은 클래식 래더 맵 Echo Isles이고, 게임 자체 규칙 그대로 4개 종족 전체 게임을 해요.

왜 어려운가

한 판이 10–25분이고 수십 유닛에 대한 결정이 수천 번 있으며, 전장의 안개가 있고 진짜 보상(승패)은 맨 끝에야 와요. AlphaStar는 에이전트 12개를 각각 TPU 32개로 44일 학습했는데, 저자는 데스크톱 한 대뿐이었다고 해요.

진짜 게임을 빠르게 돌리기

Warcraft III에는 봇 API도, 헤드리스 모드도, 배속 옵션도 없어요. 그래서 수정하지 않은 1.29 버전을 Linux의 Wine에서 약 50개 동시에 띄우고 파이썬으로 조종해요. 맵 스크립트(JASS)로 만든 하니스가 플레이어 시야 정보를 0.5초마다 보고하고 명령을 실행하며, 게임 프로세스 안의 작은 DLL이 시계를 가상 시계로 바꿔 CPU가 허락하는 만큼 빠르게 돌리고 매 스텝 파이썬을 기다려요. 렌더링 생략, 맵 로드 공유, 유닛 기록의 C 이전, CUDA graph 등 낭비 제거로 시간당 약 730시간 분량을 플레이해요.

에이전트

네트워크는 약 320만 가중치로 작아요. 유닛별 명령을 고르는 order head, 대상(유닛이나 좌표)을 고르는 target head, 시야 밖 기억을 잇는 memory, 결과를 예측하는 value head(학습 때만 사용)로 이뤄져요. 처음엔 내장 AI끼리의 경기를 따라 하는 행동 복제로 출발하고, 이후 자기 자신·과거 버전·내장 AI로 된 리그와 셀프 플레이하며 정책 경사로 배워요. KL 항이 이전 버전(anchor) 쪽으로 당겨 안정성을 지켜요. 진행은 학습에 쓰지 않는 테스트 게임(세금 없는 insane AI)으로 재요.

커리큘럼과 효과 있었던 변화

작은 전투(91%) → 7배속 2분 게임(79%) → 6분 게임(insane 상대 80%) → Echo Isles 빠른 규칙(55–60%) → 실제 규칙(처음 49%, 지금 89%) 순으로 올라갔어요.

• AI에 세금: 패배마다 AI 수입 일부를 깎아 학습 경기를 반반으로 맞췄어요.
• 온폴리시 증류: 1/98이던 승리가 50분 만에 13/50으로 올랐어요. 에이전트가 AI를 넘어서자 중단했어요.
• UPGO(AlphaStar 방식 공로 배분): 6분 맵에서 가장 큰 향상이었어요.
• 할인율 0.999 → 0.9997: 약 8분이던 시야를 28분으로 늘려 49% → 59%.
• 건설 위치 탐색 3배 확대: 59% → 62%.
• 물자 보상 절반으로(잠재 기반 보상 설계): 62% → 72%.
• anchor 당김 1/4로: 72% → 82%.
• 빌드 오더 목표 입력(실제 경기 8,072개에서 추출): 82% → 89%.

아직 못 하는 것과 다음 계획

값싼 유닛 초반 러시 한 가지 전략만 쓰고, 러시가 막히면 긴 게임에서 대부분 져요. 긴 패배 183판에서 일꾼은 35명 대 16명으로 많았지만 유닛 종류는 2–3개 대 9개, 업그레이드는 3개 대 17개였어요. 영웅도 소홀히 해요. 좋은 인간 플레이어는 insane AI를 꾸준히 이기니 아직 그 수준은 아니라고 해요. 다음은 전략 다양화, exploiter를 둔 리그, 다른 맵, 컴퓨트 확장이에요.

업데이트(10-18)

Reddit 지적대로 insane AI는 일반 플레이어보다 금과 나무를 두 배 빨리 모아요. 저자가 직접 재 보니 같은 일꾼 수로 normal AI의 두 배를 모았고, 모든 테스트 경기가 이 두 배 수입 AI 상대였다고 덧붙였어요.