Agora você pode impedir que o ChatGPT da OpenAI acesse seu site, ou partes dele, usando o robots.txt.
A OpenAI publicou informações sobre o GPTBot, seu novo rastreador da web.
O que é GPTBot. O GPTBot é o rastreador da Web do OpenAI. O OpenAI o usa para rastrear a web, consumir conhecimento para seus recursos de IA (por exemplo, ChatGPT) e fornecer respostas geradas por IA para perguntas (ou prompts ).
Agente de usuário. O token do agente do usuário do GPTBot é “GPTBot”. Sua string completa de agente de usuário é: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, como Gecko; compatível; GPTBot/1.0; +https://openai.com/gptbot)”.
Robots.txt. Você pode usar o robots.txt para impedir que o GPTBot acesse seu site ou partes dele. Para impedir que o GPTBot acesse seu site, você pode adicionar o GPTBot ao robots.txt do seu site:
User-agent: GPTBot
Disallow: /Para permitir que o GPTBot acesse apenas partes do seu site, você pode adicionar o token GPTBot ao robots.txt do seu site da seguinte forma:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/Documentação do GPTBot . Você pode ler a documentação no GPTBot.
Intervalos de IP do GPTBot. A OpenAI também publicou os intervalos de IP que o GPTBot usa. Ele lista apenas um, mas suspeito que eles adicionarão mais com o tempo.
Por que nos importamos. Você pode impedir que o GPTBot rastreie seu site se não quiser que o OpenAI use seu conteúdo de forma alguma. Este é o mesmo protocolo que você usaria para bloquear GoogleBot, BingBot ou outros rastreadores da web. Essas empresas também estão procurando uma alternativa ao robots.txt para esses fins.