웹사이트나 블로그를 운영하다 보면 다양한 크롤러(Crawler) 또는 **봇(Bot)**이 방문하게 됩니다. 이 봇들은 구글 검색 순위 상승에 도움을 주기도 하지만, 불필요한 서버 부하를 일으키거나 심지어 보안을 위협하기도 합니다. 아래 이미지에서는 일단 왼쪽 허용된 봇 목록에서 선택해서 화살표로 이동시킨 후 적용을 시키켠 차단됩니다. 자세히 알아보겠습니다.
 |
| 카페24 허용된 봇을 차단하는 법 |
카페24 워드프레스 호스팅의 '봇 트래픽 차단 설정
내 블로그를 안전하고 효율적으로 관리하기 위해, 어떤 봇은 허용하고 어떤 봇은 차단해야 할까요? 아래의 봇 리스트는 카페24 워드프레스 호스팅에 보면 '봇 트래픽 차단 설정'에 허용된 봇리스트입니다. 각자 블로그의 특성에 맞게 허용과 차단여부를 결정하시길 바랍니다. 아래는 권장설정입니다.
허용할 목록이 적다면, 일단 모든 봇을 선택한다음 차단으로 옮긴다음, 허용할 봇들만 다시 허용으로 옮기면 시간이 단축됩니다.
| 카테고리 | 권장 설정 | 봇 이름 (User-Agent) | 설명 |
|---|---|---|---|
| 검색엔진 크롤러 | ✅ 허용 | Googlebot | 구글 검색의 핵심 크롤러 |
| GoogleOther | 구글 검색 외 보조 크롤러 | ||
| Bingbot | 마이크로소프트 Bing 검색 크롤러 | ||
| ⚠️ 선택 | Baiduspider | 중국 바이두(Baidu) 검색 크롤러 | |
| Sogou web spider | 중국 Sogou 검색 크롤러 | ||
| SeznamBot | 체코 검색엔진 Seznam.cz 크롤러 | ||
| PetalBot | 화웨이 Petal Search 크롤러 | ||
| YisouSpider | 중국 So.com (360 검색) 크롤러 | ||
| EtaoSpider | 알리바바 쇼핑 검색 크롤러 | ||
| SEO / 마케팅 분석 | ❌ 차단 | AhrefsBot | Ahrefs (링크 분석/SEO) 도구 |
| MJ12bot | Majestic SEO 도구 | ||
| SemrushBot | Semrush (경쟁 분석) 도구 | ||
| serpstatbot | Serpstat 도구 | ||
| BLEXBot | SEO/아카이빙 서비스 | ||
| DotBot | Moz (SEO 도구) | ||
| Barkrowler | OnCrawl SEO 도구 | ||
| DataForSeoBot | DataForSEO API | ||
| AwarioBot | 소셜 모니터링/브랜드 추적 도구 | ||
| ZoominfoBot | 기업 데이터/리드 분석 도구 | ||
| AI / 데이터 수집 봇 | ⚠️ 선택 | GPTBot | OpenAI GPT 모델 학습 및 데이터 수집용 |
| ClaudeBot | Anthropic Claude AI 학습 및 데이터 수집용 | ||
| CCBot | Common Crawl (오픈 웹 데이터 아카이빙) | ||
| SNS / 미디어 크롤러 | ✅ 허용 | TelegramBot | 텔레그램 링크 미리보기 생성 |
| facebookexternalhit/1.1 | 페이스북 링크 미리보기 생성 | ||
| facebookexternalhit | 페이스북 링크 미리보기 생성 | ||
| meta-externalagent | 메타(페이스북/인스타그램) 외부 링크 미리보기 | ||
| TikTokSpider | 틱톡 미리보기/수집 | ||
| Bytespider | TikTok/바이트댄스 크롤러 | ||
| 기업/브랜드 전용 | ✅ 허용 | Applebot | 애플 Siri/Spotlight 검색 관련 |
| ⚠️ 선택 | Amazonbot | 아마존 상품 검색/광고 관련 | |
| GeedoProductSearch | 상품 검색 엔진 | ||
| 보안 / 연구용 | ❌ 차단 | sqlmap | SQL Injection 취약점 스캐너 (보안 위협) |
| MallardBot | 연구·테스트 성격의 봇 | ||
| Scrapy | 파이썬 크롤링 프레임워크 | ||
| python-requests | 파이썬 요청 라이브러리 기반 요청 | ||
| Apache-HttpClient | Apache HTTP Client 기반 요청 | ||
| 기타 | ⚠️ 선택 | ChatGPT-User | OpenAI 관련 User-Agent (API 호출 등) |