[구글블로거] 네이버 웹마스터에서 사이트검증하기robots.txt

[웹] 구글블로거(blogger) 사이트등록2탄 - 네이버 웹마스터 도구로 네이버에 사이트 등록하는 법 - 7. 사이트검증하기(검증메뉴) robots.txt

네이버에 사이트 등록하는 법

구글 블로거(Blogger)의 경우 네이버에 노출이 안되기때문에 사이트등록이 필수입니다.

어디서 하냐면 네이버웹마스터도구라는 곳에서 합니다.

주소: https://webmastertool.naver.com/

사이트등록하기

웹페이지수집

웹페이지검색제외

RSS제출

사이트맵제출

채널제출

검증메뉴 - robots.txt, 웹페이지 최적화

네이버 사이트 등록하는 순서:

*이미지가 깨질 경우 클릭하면 원본이미지가 보입니다.

지난 시간에 이어서 이번시간에는 네이버 사이트등록에서 7. 검증메뉴에 대해서 알아보겠습니다. 우선 네이버 웹마스터 도구의 왼쪽메뉴중 검증메뉴는1. robots.txt와 2. 웹 페이지 최적화로 분류되어 있습니다. 먼저 robots.txt 파일부터 알아보겠습니다.

1. 먼저 왼쪽 검증메뉴의 첫번째 항목인 robots.txt을 클릭해봅시다. 로봇룰 검증이라는 제목이 보입니다.

일단 로봇룰이라는 말에 대해 블로그 초보입장에서 이해하기 쉽게 매우 간단하게 설명드리겠습니다. 여러분의 웹사이트 혹은 블로그를 만들고 검색엔진에 등록을 하면 각종 봇(로봇) 등이사이트를 방문해서 여러분의 사이트를 뒤집고 다닙니다. 그중에 대표적인 것들이 구글로봇이나 네이버로봇등이 있고요 검색엔진마다 다 있다고 보시면 됩니다. 그것들의 하는 일은 일일이 여러분들의 사이트의 점수를 매겨서 검색에 노출할지 말지, 어떤 순위에 올릴지 평가를 하는 게 주목적입니다. 결론적으로 로봇룰이라는 것은 그런 로봇들이 내 사이트 혹은 블로그를 방문할때 어느 선까지 허락할지를 여러분이 룰(규칙)을 정해둔 것이고 robots.txt파일은 그런 규칙을 적어놓은 파일입니다. 이해되시죠?

1-1 자 다시 아래 https://www.techwillgo.com/robots.txt 이것은 바로 구글블로거(blogger)의 로봇룰이 담긴 robots파일의 주소입니다. 외우기 매우 쉽습니다. 자기도메인주소/robots.txt 티스토리나 다른 독립호스팅을 받으시는 분들은 주소가 다를 겁니다. 이 주소는 꼭 알아두셔야 할 필수사항입니다.

수집된 robots.txt의 최신 정보입니다. 이것은 구글 블로거의 기본 robots.txt 내용입니다. 처음에 구글블로거에 기본적으로 셋팅된 상태입니다. 근데 이 상태로도 네이버봇이 수집가능합니다. 이유는 아래 설명에 보시죠.

초보자입장에서 쉽게 이 부분을 간단히 설명하겠습니다. 좀더 완벽하게 알고 싶다면 구글에 robots.txt 문법에 대해 잘 나와있으니 참고하세요.

User-agent: Mediapartners-Google

=> 봇이름: 애드센스크롤러(애드센스봇)

Disallow:

=>Disallow(허락안함) : 공백(없다) 구글 애드센스봇은 전부 허락한다는 말입니다.

결론적으로 애드센스봇은 전부 허락

User-agent: *

봇이름: * 불특정다수로 전부, 모든 봇(네이버 봇, 구글봇등등)

Disallow: /search

=>Disallow(허락안함) : /search 서치카테고리부터 허용 안하는 뜻입니다.

/search/ 와는 구분할 필요가 있습니다. 이것은 seach카테고리만 허용안한다는 뜻입니다.

Allow: /

=> 자신의 도메인 루트 디렉토리 아래로 전부 허용한다는 뜻입니다. /는 루트root.

결론적으로 다른 모든 봇들은 /search 부터 그 아래 디렉토리 빼고 전부 허용

Sitemap: https://www.techwillgo.com/sitemap.xml

=> 이부분은 구글의 사이트맵주소입니다. robots.txt파일에 추가를 함으로써 검색엔진이

사이트맵파일을 찾기 쉽게 도와줍니다.

3. 이제 네이버 로봇을 robots.txt파일에 추가해 보겠습니다. 아래의 *설정된 로봇룰에 따른 사이트 내 웹 페이지 수집 가능 여부를 확인할 수 있습니다. 이부분은 우리가 robots.txt파일을 수정을 한 다음에 하게 됩니다.

그 밑에 robots.txt 간단 생성 제목이 보입니다.

사이트 웹 페이지 수집 허용과 관련된 간단한 robots.txt 파일 생성합니다라고 되어있는데

이 말의 뜻은 네이버 검색 로봇이나 다른 기타 로봇들이 여러분의 사이트에서 수집허용할지 말지 여부만 간단하게 소스코드를 만들어 준다는 뜻입니다. 일일이 적기 귀찮으니 해주겠다는 뜻입니다. 총 4가지 옵션이 있습니다. 아래 그림을 참고해주세요.

네이버 검색로봇 / 루트디렉토리 이후 전부 허용

네이버 검색로봇 / 루트디렉토리 이후 전부 비허용

모든 검색로봇 / 루트디렉토리 이후 전부 허용

모든 검색로봇 / 루트디렉토리 이후 전부 비허용

4. 이제 네이버로봇을 robots.txt파일에 한번 시험삼아 추가해보겠습니다. 일단 간단생성을 이용해봅시다. Yeti가 네이버봇이름입니다. 복사해서 어디다 붙일까요 구글블로거 관리자에 붙일겁니다.

복사해서 위의 로봇룰 검증 부분에 붙여놓은 다음 그것을 다시 복사합니다.

자 아래에 그림에서 확인 가능합니다. 이 상태에서 구글 관리자 메뉴를 열어봅니다.

위에서 배운 것 다시 한번 복습해 봅시다. 애드센스봇과 네이버봇은 전부 허용이고 나머지 봇은 /search 이후 빼곤 전부허용입니다. 이해되시죠?

5. 구글 블로거관리자를 엽니다. 왼쪽 메뉴 설정의 검색 환경설정항목이 보입니다. 클릭하면 나오는 화면입니다. 화면 아래 맞춤 robots.txt 파일이 보입니다. 기본적으로는 사용안함상태입니다. 내용을 추가하려면 수정을 클릭합니다. 사용으로 변경합니다. 이제 네이버로봇부분을 추가해보겠습니다.

자 아까 복사한 부분을 붙여 넣기 하고 변경사항을 저장해봅니다.

이제 완료되면 아래와 같이 됩니다.

6. 이제 robots.txt 파일 수정까지 완료되었습니다. 이제 아까 네이버 화면에서 수집이 되는 지 확인해 보겠습니다. 오른쪽 수집요청 버튼을 클릭합니다.

수집요청 알림창이 뜹니다.

자 결과화면을 아래에서 보시죠. 아까 추가한 네이버봇부분을 확인할 수 있습니다.

User-agent: Yeti 부분 보이시죠?

7. 이제 마지막 웹페이지 수집가능여부를 확인하겠습니다. 위의 수정요청을 한후 바로 아래의 주소에 확인 버튼을 누르면 됩니다.

바로 수집이 가능하다는 알림창이 뜹니다.

일반 웹페이지를 한번 수집해보겠습니다. 수집가능하다는 걸 확인할 수 있습니다.

네이버는 /search 아래도 수집이 가능하죠. 위에서 예외라고 지정했기 때문입니다. 아래의

알림창에 수집이 가능하다라고 뜨네요.

그러면 네이버봇부분을 빼버리고 네이버에서 /search 아래로 페이지 수집이 가능한지도

확인해 보겠습니다. 구글 관리자 가셔서 네이버봇부분만 지워보세요. 이건 따로 화면캡쳐를

올리지 않겠습니다. 아래 부분입니다.

User-agent: Yeti

Allow:/

아래 알림창을 보시면 수집이 불가능하다는 것을 알 수 있습니다.

이렇게 특정파일만, 특정 폴더만 특정봇의 접근을 막을 때 아주 유용하다는 것을 알 수 있습니다. 기본적으로 robots.txt파일을 수정할 줄 아는게 좋겠죠? 특히 웹호스팅을 해서 ftp 서버로 파일을 업로드하는 경우 특정폴더는 아예 봇의 접근을 막아버리는 용도로 쓰거나 특정폴더만 접근가능하게 만들면 매우 효과적일 수 있습니다.

지금까지

구글블로거(blogger) 네이버사이트등록하는 법- 7. 사이트검증하기(검증메뉴) robots.txt

에 대해서 알려드렸습니다.

다음편에서는 네이버 웹마스터 도구의 사이트도구의 왼쪽메뉴중 검증메뉴의 두번째 웹페이지 최적화에 대해서 알아보겠습니다.

웹 페이지 최적화