[R] The Hive Mind is a Single Reinforcement Learning Agent: Deriving the Exact Equivalence Between Swarm Dynamics and Multi-Armed Bandits

arXiv 초록 페이지를 기준으로 옮겼어요. 논문 본문은 읽지 못했어요. 2024년 10월에 처음 올라와 2026년 7월 v6로 고쳐진 논문이 r/MachineLearning에 다시 공유됐어요.

문제의식

의사결정은 지능을 가진 개체나 집단의 핵심 속성이에요. 자연계는 적어도 두 방식으로 좋은 전략에 이른대요.

1. 남을 모방하는 집단적 의사결정
2. 한 개체의 시행착오

Karthik Soma, Yann Bouteiller, Heiko Hamann, Giovanni Beltrame의 논문은 이 둘이 같다는 걸 보여요.

핵심 주장

단순하고 국소적인 모방 규칙을 따르는 개체들에서 나타나는 분산 인지, 흔히 하이브 마인드라 부르는 것은 다중 슬롯머신(multi-armed bandit)의 병렬 인스턴스 여러 개에서 행동 가치 표본을 모으는 단일 온라인 강화학습 에이전트와 같대요.

구체적으로 꿀벌 8자춤을 설명하는 "맹목적 모방 가중 투표자 모델"에서, 이 거대 에이전트가 배우는 갱신 규칙이 하나의 RL 알고리즘이고, 저자들은 이를 Maynard-Cross Learning이라 이름 붙였어요.

의미

• 단순한 모방 전략을 따르는 집단이 더 복잡한 학습 개체와 같을 수 있어요. 그래서 겉보기에 비합리적인 개체 행동이 자연에서 선택되는 이유를 집단 수준의 지능으로 설명할 수 있다고 봐요.
• 생물학을 넘어, 사람들이 성공한 전략을 따라 하는 경제·사회 시스템을 집단 학습으로 분석하는 도구가 될 수 있대요.
• 인공 영역에서 확장 가능한 RL 기반 집단 시스템 설계에도 도움이 될 수 있대요.

분야는 다중 에이전트 시스템(cs.MA), AI, 게임 이론이에요.