AI봇들의 데이터 수집과 학습이 요즘 문제가 되고 있습니다. 무분별하게 무차별적으로 스크래핑을 해가고 있습니다. 그러나 자신의 블로그 글이 학습데이터로 쓰이길 원하지 않는다면 다음의 방법을 쓰세요. 챗지피티와 구글 바드는 robots.txt에서 아래와 같은 문구를 추가하면 차단이 가능합니다. 네이버 Cue 검색은 robots.txt방식으로 수집하지 않기 때문에 아직 막을 방법이 없습니다.
 |
| 챗지피티, 구글 제미니(구. 바드) 차단하는 법 robots.txt |
AI 봇 차단을 하는 이유
우선 국내외 언론 사이트에서 챗지피티 봇과 구글 바드 봇을 차단하는 것은 단순합니다. AI가 데이터를 마음대로 가져가서 자신들의 생각인 것처럼 소화해서 답변을 내놓기 때문입니다. 물론 이 자체는 그다지 문제가 되지 않습니다. 대부분 사람들이 그런식으로 정보를 자기 식으로 소화합니다. 그리고 자신만의 언어로 그걸 풀어냅니다.
그러나 언론사들은 한 사람의 필자가 존재하는 것이 아니라 수많은 기자나 외부 기고가들의 글로 운영되기 때문에 자신들의 수많은 필진들의 저작권을 보호해야 하는 입장에 있습니다. 챗지피티 혹은 구글 바드의 무제한 학습을 방치하면 인간이 할 수 있는 수준을 벗어난 속도와 양으로 비슷한 글이 온라인이 떠돌게 되서 원본글의 가치가 훼손될 가능성이 있습니다.
블로그에서 챗지피티와 구글 제미니(구. 바드)를 차단하는 법
: robots.txt에서 차단하면 됩니다. 챗지피티와 구글 바드의 봇을 막으려면 아래의 문구를 추가하세요.
User-agent: GPTBot
Disallow: /
User-agent: Googlebot-Bard
Disallow: /
User-agent: Googlebot-Gemini
Disallow: /