안녕하세요. TECHWILLGO입니다. 워드프레스 블로그에서 robots.txt파일을 만든 후 구글에 제출하는 과정에 대해서 알려드리겠습니다.
우선, 워드프레스를 설치하고 나면 구글에 제출된 robots.txt의 내용은 자동으로 아래와 같이 되어 있습니다.
아직 자체 robots.txt파일을 생성하지 않은 상태입니다.
 |
| 워드프레스 robots.txt 구글에 제출하는 법 |
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
이 부분을 아래와 같이 새로 작성 해보겠습니다.
본인의 ftp폴더에 아래의 내용을 입력한 robots.txt파일을 업로드 합니다.
robots.txt 내용은 아래 내용대로 할 필요는 없습니다.
User-agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /wp-content/plugins/
Sitemap: https://본인주소/sitemap_index.xml
Sitemap: https://본인주소/post-sitemap.xml
Sitemap: https://본인주소/category-sitemap.xml
Sitemap: https://본인주소/post_tag-sitemap.xml
사이트맵은 yoast seo 플러그인에서 생성된 사이트맵을 사용한 것입니다.
서치콘솔의 robots 테스팅 툴을 이용하겠습니다.
https://www.google.com/webmasters/tools/robots-testing-tool
여기서 간단하게 robots.txt파일을 구글에 제출 가능합니다.
아래 속성에서 서치콘솔에 등록된 URL을 선택합니다.
그러면 아래 robots.txt 테스터 화면이 나옵니다. 최신 버전이 표시됩니다.
자신이 ftp 폴더(루트 폴더)에 올린 최신 버전인 부분은 아직 구글에 제출이 안되거나 구글이 크롤링을 안했으면
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
이렇게 표시됩니다.
밑에 제출 버튼을 클릭합니다.
그리고 3번의 업데이트 요청의 제출 버튼을 누르면 됩니다.
그리고 페이지를 다시 새로고침하면 자동적으로 새롭게 제출된 robots.txt파일을 확인할 수 있습니다.