구글 서치 콘솔에서 실패 robot.txt를 찾을수 없음 색인 생성 요청 거부

 

 

티스토리의 블로그를 시작하면서 다양한 검색엔진에도 등록하면서 우여곡절이 많이 있는거 같습니다. 특히 구글이라는 사이트에 연결 하는게 왜이리 힘든것일까요? ㅜㅜㅜ 제발 ㅜㅜㅜ

 

그래서 이번에는 저의 우여곡절중 하나였던 구글 서치 콘솔에서의 "실패 robot.txt.를 찾을수 없음" 으로 인하여 색인 생성 요청이 거부가 되었던 케이스를 써 볼까 합니다. 구글 서치 콘솔의 에러 일가요? 아님 저의 실수 일까요?ㅜㅜㅜ 추후 생성완료라는 단어가 뜨게 되어 그에 관한 포스팅을 하고자 합니다~~

 

 

구글 서치 콘솔에서 색인 생성을 요청하였으나 거부됨

구글 서치 콘솔에 티스토리 블로그를 등록하고 여러개의 글을 작성을 한 상태였고 새글을 저장한 후에 URL은 잘 검색되고 있는지를 알아보기 위해 구글 서치 콘솔에 들어가서 URL 검사를 시작했습니다. 색인이 생성 되지 않는다고 떴고 다시 색인 생성 요청을 하였으나 색인 생성이 거부됨이라는 메시지가 뜨러라구요...ㅜㅜ 

정말 당황스럽더라구요. 그래서 그 원인을 찾고자 이유를 보는 '실패: robot.txt를 찾을 수 없음' 이라는 메시지가 뜬거죠...

 

<처음 할일> robot.txt 파일이 잘 있는지 확인 하기

당황을 한 후 처음으로 찾아 본것은 robot.txt. 파일이 잘 있는지를 확인 해 보았습니다. 그랬더니 이게 왠걸? 제가 블로그 스킨 편집을 하면서 robot.txt 파일이 지워진거 같더라구요.

그래서 부랴부랴 다시 robot.txt 파일을 업로드 하였습니다(robot.txt 파일 업로드 방법은 전에 썻던 글에 자세히 설명 되어 있습니다)

 https://rememberthefirstday.tistory.com/13

티스토리에 검색 엔진 수집하는 robot.txt 등록하기

 

<두번째 할일> 태그를 중복으로 한게 있는지 확인 하기

이후 다시 색인 요청을 하였으나 또 거부가 되는 거였던 거라는 거죠... 흠 이게 뭘까요... 그래서 글에 이상이 있는지를 확인 해 보기 위해 글을 다시 보니 제가 태그 입력에 중복으로 태그를 잘못 걸어 놓았던 것이었습니다. 태그를 중복으로 걸어버리거나 하면  구글 서치 콘솔이 아마도 과부하가 걸려서 처리가 늦어지는 것이 아닌가 합니다. 글을 다시 정비 한 후 몇분이 지난고 다시 생인 생성을 요청하니 이제 드디어 받아들여 졌습니다.

 

<세번째 할일> 시간을 어느정도 가지고 URL 검사 다시 요청하기

다 해결 하고 색인 요청을 위해 URL 검사를 바로 하지 말고 몇분이 지난 뒤 하는게 나은거 같더라구요. 아마 과부하 때문인지 뭐때문이지는 몰라도 robot.txt가 연결이 조금 지연 되는 부분이 있는 거 같아서 다 수정 한 후 바로 URL을 신청하면 안되다가 1~2분 지나고 URL을 신청하니 받아 들여 주더라구요... 이유는 모르겠으나 혹시라도 도움이 된다면 조금 시간적 여유를 가지고 URL 검사를 다시 진행해 보시는 걸 추천드립니다..(젖만 그런거일수도 있어요..ㅎㅎ;;^^) 

 

이상으로 구글 서치 콘솔에서 "실패: robot.txt를 찾을수 없음"으로 인하여 색인 생성이 안되었던 부분을 글로 써보았습니다. 조금이나마 도움이 되었으면 합니다. 좋은 하루 되세요~~