네이버웹마스터도구와 Robots.txt 활용하여 워드프레스 오류수정하기

워드프레스를 설치형 방식으로 운영하는 경우 강력한 자유도를 부여합니다. 설치형과 가입형의 차이점등 워드프레스의 특성은 이전 관련 포스트를 참조하시면 되겠습니다.
Robots.txt를 이용하여 검색엔진이 잘못된 웹페이지를 수집되는 오류를 수정해 보도록 하겠습니다. 그동안 네이버의 경우 웹마스터도구를 제공하지 않아서 어떤 페이지들이 잘못수집되고 있는지 확인자체가 어려웠습니다.

네이버 웹마스터도구 이용하여 수집오류페이지 확인하기

하지만 최근 네이버에서도 베타버전이기는 하지만 웹마스터도구를 제공하므로 이부분을 확인해 보도록 하겠습니다.

네이버 웹마스터도구에 접속하게 되면 상단 적색 박스의 오류현황이라는 기능을 제공합니다. 기본적인 웹사이트 상태인 DNS 이상여부,수집상태,Robots.txt 수집상태를 바로 확인할수 있습니다.
[pe2-image src=”http://lh5.ggpht.com/-lTeSLdxYy5A/U7Nz2cloZ_I/AAAAAAAAEsg/ROXfMfqIWW4/s144-c-o/%2525EB%252584%2525A4%2525EC%25259D%2525B4%2525EB%2525B2%252584%2525EC%25259B%2525B9%2525EB%2525A7%252588%2525EC%25258A%2525A4%2525ED%252584%2525B0%2525EB%25258F%252584%2525EA%2525B5%2525AC.jpg” href=”https://picasaweb.google.com/102394476629197694908/201407#6031291705203386354″ caption=”” type=”image” alt=”네이버웹마스터도구.jpg” ]
 

이 화면의 하단을 보시면 수집에 오류가 있는 구체적인 페이지들이 표시됩니다. 7월 1일 수집한 페이지중 3개의 페이지가 notFound 즉 404 에러가 발생했습니다.

페이지가 없는데 수집이 된것입니다. 이러한 오류가 있는 페이지는 검색엔진에게 수집하지 말라고 알려주면 됩니다. 이러한 역할을 하는 것이 Robots.txt 파일입니다.

워드프레스에서 Robots.txt 간단하게 수정하는 방법

워드프레스에서 이 Robots.txt 파일을 간단하게 수정할수 있는 방법은 무엇일까요? WP Robots txt 플러그인을 설치하시면 되겠습니다. 플러그인 추가하기에서 WP Robots txt로 검색하시면 쉽게 찾으실수 있습니다.

이 플러그인을 설치하면 워드프레스 관리자화면 – 설정 – 읽기 항목에 Robots.txt 옵션이 추가됩니다. 아래의 화면과 같습니다.

[pe2-image src=”http://lh6.ggpht.com/-5clvmUOW274/U7Nz2aDhV4I/AAAAAAAAEsc/FASovTTIec0/s144-c-o/robot.jpg” href=”https://picasaweb.google.com/102394476629197694908/201407#6031291704523446146″ caption=”” type=”image” alt=”robot.jpg” ]

여기서 네이버 웹마스터도구에 포함된 페이지들을 Disallow: 옵션을 넣어 삽입해주시면 됩니다. 시험적으로 오류가 발생한 상기 3개의 페이지를 삽입후 웹마스터도구의 수집요청 기능을 사용하여 재수집을 한 결과 오류페이지들이 수집되지 않았습니다.

물론 특정한 페이지 나 디렉토리 등도 Disallow: 옵션을 사용하여 검색엔진 수집제한을 할수가 있습니다.

예를 들면 Disallow: /개인사생활/  이라고 표시하면 /개인사생활 디렉토리 이하의 파일들이 모두 수집되지 않습니다.