Running an LLM-driven town with 800+ persistent agents: concurrency, context caching, and inference costs

중국 서버에서 AI 주민 800명 이상이 하나의 도시에서 계속 살아가는 LLM 기반 생활 시뮬레이션 'Slow Vale'의 개발자가 쓴 엔지니어링 회고예요. 런타임은 로컬 추론이 아니라 호스팅된 DeepSeek Flash를 쓰고, 캐릭터 하나가 하루에 약 300~400번 LLM을 호출하며 호출당 평균 컨텍스트는 3만 토큰 안팎이에요. 추론하는 동안에도 세계 시간은 흐르기 때문에, 모델 응답이 곧바로 세계 상태를 바꾸지 않고 실행 시점에 유효성 검사를 거쳐 반영해요. 예를 들어 추론을 시작할 때 진열대에 있던 마지막 생선을 응답이 돌아올 무렵 다른 주민이 사 갔을 수 있어서, 구매 의도를 현재 재고와 다시 대조해요. 이동·생산·대화·수면처럼 시간이 걸리는 활동은 공통 런타임으로 관리하고, 성격·욕구·위치·자산·관계처럼 갱신 주기가 다른 정보를 결정 컨텍스트에 넣고 빼는 규칙도 둬요.