티스토리 구글 서치 콘솔 Crawl-delay: 30 경고 오류

최근 티스토리 블로그를 다시 시작하면서 예전 글은 구글 검색이 잘되는데 새로 발행한 글은 구글에 전혀 노출이 되지 않는 현상이 있어서 확인 중에 있습니다.

 

몇 년 전에 포스팅할 때는 구글 노출이 잘됐던 것 같은데 크롤링 문제인지 새 포스팅 글은 색인 생성이 잘 안 되는 것 같습니다. 

 

구글 서치 콘솔에 들어가서 색인 생성 및 URL 검사를 하는 도중 Robot.txt 차단 테스트로 들어가 확인해봤는데 스크립트에 경고가 하나 있더군요.

 

Robot.txt-경고

 

경고문은 "Crawl-delay: 30"라고 되어있는데 해당 영어 내용만 보면 "수집 지연 30초" 정도로 확인됩니다.

 

구글링을 해보니 해당 경고는 구글 봇이 수집하는데 웹사이트 내용이 많거나 방해 요소가 있어서 수집 시 조금 지연이 될 수 있다는 문구라고 하네요. 확인해보니 색인 생성이 된 구글 노출이 잘되고 있는 글에서도 Robot.txt 차단 테스트를 확인해보니 같은 경고가 있었습니다.

 

 또 해당 경고는 티스토리 자체의 문제인 것 같다고 하는 내용도 보았습니다. 예전부터 자주 있던 오류라고 하더군요. 크게 문제는 되지 않는다고 하니 지켜봐야 되겠습니다.

 

-추가 내용

색인 생성에는 큰 문제가 없는 경고문인 것 같습니다. 시간이 지나니 색인이 생성되는 포스팅도 있네요. (색인 생성까지 3주 정도 소요됨)

아마도 이전 카카오 화재 이후 티스토리 구글 색인 생성에 조금 문제가 있는 것 같습니다. 일단 포스팅을 유지하고 복구될 때까지 조금 기다려봐야겠네요.

 

해당 Crawl-delay: 30 경고는 문제가 될만한 경고문은 아닌 것 같습니다.