Gemini 4 Argon for Robotics

Google Developers Blog 글(Kanishka Rao, 2026-10-13)의 앞부분(개요, 로봇 제어, Real2Sim 일부)까지 읽고 옮겼어요. 글이 길어 '물리 이해'와 '연구·자기 개선' 절은 개요만 다뤄요.

개요

Gemini 4 Argon은 물리 이해, 코드 생성, 시각-의미 추론에서 큰 도약을 이뤄 로보틱스 스택 전반의 새 워크플로를 열고 '물리 AGI'로 가는 진전을 앞당긴다고 해요.

• 3D 환경의 물리·공간 문제 해결 능력을 재는 ERQA(Embodied Reasoning) 벤치마크에서 순수 추론만으로 87%를 기록해 다른 모든 프런티어 모델을 앞섰어요.

글은 네 영역의 대표 프롬프트를 소개해요.

1. 로봇 제어: MuJoCo 연습을 곁들인 모바일 매니퓰레이션, 제로샷 제어, 비디오 월드 모델의 폐루프 조종
2. Real2Sim: 로봇 카메라 영상, 1인칭 사람 영상, 손으로 그린 스케치에서 물리적으로 보정된 시뮬레이션 트윈 재구성
3. 물리 이해: 손재주에 대한 세밀한 이해, 밀집 가치 함수, 진행도 추정을 포함한 에이전트형 멀티모달 사후 라벨링
4. 연구·자기 개선: 시뮬레이션으로 동작 개선, 하드웨어에서 반복적 자기 개선

로봇 제어 사례

Spot 모바일 매니퓰레이션: Argon이 Boston Dynamics Spot(다리 12자유도 + 팔 6자유도)을 조종해 발 페달 쓰레기통을 밟아 열고 탄산 캔을 버리는 새 기술을 익혀요. 먼저 페달 쓰레기통의 관절형 MuJoCo 디지털 트윈을 만들어 세 다리로 균형 잡는 동작을 연습한 뒤 실제로 실행해요. 프롬프트에서는 페달을 밟기 전 전면 카메라로 발 위치를 확인하고, 발 검증·손 검증을 맡는 '2-에이전트 검증 스웜'으로 놓기 전 정렬을 확인하라고 지시해요.

제로샷 제어: 단순한 로봇 팔로 넘어진 머그컵을 세우고 구겨진 냅킨을 넣는 과제예요. 손목 카메라 이미지에 2cm 월드 좌표 격자와 집게 조준선을 그려 넣은 '시각 좌표 하네스'와 동작 프리미티브(look_at, grasp, place, move_by 등)를 쓰고, 여러 턴에 걸쳐 curl로 로컬 API에 명령을 보내요. 첫 턴에 거친 호출(2–4회), 사전 확인(4–7회), 정밀 시각 서보잉(8–20회) 중 세밀도를 고르게 해요.

Real2Sim 사례

실제 로봇 원격 조작 영상을 보고 디지털 트윈을 만드는 예예요. Argon이 실제 물체처럼 보이고 손에 닿았을 때 똑같이 반응하는 시뮬레이션 자산을 구하거나 만들고, 반복적인 시각 추론 루프로 시뮬레이션 화면과 접촉 이벤트를 녹화 데이터에 맞춰 조정해요.