내 웹사이트가 Google 검색 색인에서 삭제됐다

개인 블로그 운영자 Kenny Qin이 자기 사이트가 Google 검색 색인에서 빠지기까지의 과정을 적은 글이에요. AI 학습용 스크래핑 등을 이유로 올해 초부터 검색 엔진 색인에서 빠지기로 했는데, 처음에 robots.txt로 모든 봇을 막았을 때는 몇 주를 기다려도 색인이 그대로였다고 해요. 설정을 몇 차례 바꾼 뒤 마지막 변경에서 최소 3개월이 지나서야 Google 색인에서 삭제된 걸 확인했다고 해요.