I posted to HN, and then my website was flooded with AI bot traffic

Sammy Straus의 블로그 글 "I posted to HN, and then my website was flooded with AI BOT traffic"을 옮겼어요(같은 페이지의 다른 글은 제외했어요).

HN에 올렸더니

글쓴이는 몇 년째 sprinklz.io라는 맞춤형 피드 리더를 만들고 있어요. 특정 주제를 피드에서 뒤로 미룰 수 있는 기능이 있어요. 한 달 전 HN에 올려 100개 남짓 추천을 받았고, 사람들이 LLM 이야기에 지쳐 이를 뒤로 미는 기능을 반겼대요.

그런데 사이트가 고통스러울 만큼 느려졌어요. 처음엔 갑작스러운 관심 때문이라 여겼지만, 글을 올리고 며칠이 지나도 느려짐이 계속되고 더 나빠졌어요. 실제 로그인한 활성 사용자는 몇 명인데 서버 부하는 터무니없이 높아 지표가 말이 안 됐어요.

로그를 파 보니

• 엔드포인트마다 요청 수를 세는 로깅을 붙였더니, 요청 대부분이 뉴스 기사를 가져오려는 시도조차 하지 않았어요. 사이트는 SPA인데, 요청 대부분이 페이지를 그리는 JavaScript를 실행하지 않았다는 뜻이에요.
• NGINX 로그를 모아 보니 트래픽의 거의 절반이 한 사용자에게서 왔어요. 이름은 밝히지 않았지만, 웹사이트 변경을 감지해 'AI slop 뉴스레터'로 요약해 주는 서비스였고, '변경 감지'란 사이트를 분당 여러 번 조회하는 거였어요. 바로 차단했어요.
• 나머지 상당수는 스스로 정체를 밝힌 일반 크롤러였어요. Claude bot, OpenAI bot, Google 검색 색인기 등이요.
• 취약점 스캐너도 걸렸어요. 워드프레스 사이트도 아닌데 /wp-content/phpinfo.php에 접근하려 했대요.

대응

• robots.txt로 대부분의 AI 스캐너는 막고 Googlebot 같은 검색 트래픽은 허용했어요.
• Claude에게 취약점 경로를 모두 조회해 스캐너를 흉내 내게 해서 새는 정보가 없는지 확인했어요.
• 적절한 레이트 리밋 등을 걸었어요.

가장 큰 교훈은 사이트를 더 빠르게 만들어야 한다는 거였대요. 실제 트래픽을 높은 QPS로 견디고 부하에도 더 잘 확장되도록, 지난 몇 주 동안 인프라를 여러 군데 손봐 모든 사용자에게 큰 성능 향상이 있을 거라고 해요. sprinklz는 무료이고, HN 점수 같은 기준에 더해 사용자가 원하는 주제(예: AI, LLM)를 걸러 내는 규칙을 직접 정할 수 있어요.