FERRAMENTA GRATUITA
Seu site, suas escolhas de acesso.
Escolha como buscadores e ferramentas de IA podem acessar seu conteúdo. Nós organizamos as regras e explicamos o que ainda precisa ser feito no site.
O arquivo controla rastreamento. As demais instruções aparecem em um plano separado.
Integre as regras ao robots.txt da sua plataforma após revisar o arquivo existente. Na Shopify, preserve o template robots.txt.liquid. Não cole metatags neste arquivo.
REVISAR ANTES DE APLICAR
Descubra o que um arquivo robots.txt orienta para cada endereço e entenda qual regra decide o resultado.
| Endereço e caminho avaliado | Resultado | Regra decisiva | Por quê? |
|---|
Cópia e downloads incluem todos os resultados, independentemente do filtro ou da página exibida.
O nome do robô é comparado com os tokens User-agent, sem diferenciar maiúsculas. A simulação considera também as alternativas documentadas para robôs do Google, priorizando o token específico. Grupos equivalentes são combinados. O grupo * só entra quando não há um grupo específico; suas regras não são herdadas.
O teste compara o caminho e os parâmetros, diferenciando maiúsculas. A regra compatível mais específica vence e Allow prevalece em empate. * representa qualquer sequência e $ marca o fim do endereço. Sem regra compatível, o caminho fica permitido pelas regras fornecidas.
Não há acesso às URLs, leitura do robots.txt publicado, teste de status HTTP ou verificação de indexação. Sitemap, Crawl-delay e Noindex não decidem acesso neste teste. “Permitido” não garante rastreamento; cada serviço pode ter políticas próprias ou ignorar o arquivo.
Até 1.000 endereços, 500 KiB de texto, 10.000 diretivas e 4.096 caracteres por linha. Combinações muito extensas de regras e caminhos precisam ser divididas em lotes menores. URLs são interpretadas pelo navegador; ajustes aparecem junto ao resultado. Arquivos e campos ficam apenas na memória e são descartados ao recarregar. Nenhuma regra é instalada no site.
Referências do teste: interpretação de robots.txt pelo Google, tokens dos robôs do Google e RFC 9309.
Aparecer nas buscas. Permitir Googlebot ajuda o Google a acessar o conteúdo; isso não assegura inclusão ou posição. Para pedir que uma página saia dos resultados, use noindex na própria página ou na resposta do servidor, mantendo o acesso para leitura. O plano mostra essa ação separadamente.
Busca de IA e treinamento. São controles diferentes quando o fornecedor oferece robôs separados. A ferramenta distingue descoberta para respostas, coleta para treinamento e visitas a pedido. Alguns controles têm efeito conjunto: Google-Extended também afeta usos de fundamentação de respostas no Gemini, e CCBot coleta para um arquivo público reutilizado por terceiros.
Google e seus recursos de IA. Googlebot é o controle de rastreamento da Busca, inclusive dos recursos AI Overviews e AI Mode. Bloquear Google-Extended não desliga a Busca Google. Para limitar trechos exibidos, existem configurações de apresentação como nosnippet, que devem ser avaliadas à parte e não são geradas por esta ferramenta.
Visitas solicitadas por pessoas. Nem todo acesso a pedido segue o robots.txt. As preferências são incluídas no arquivo, mas podem não surtir efeito em alguns serviços, como ChatGPT-User e Perplexity-User. Uma restrição aqui não funciona como firewall, não vincula robôs que ignorem o protocolo e não desfaz cópias ou treinamentos já realizados.
Página, pasta e links. Bloquear leitura gera regras de caminho. Página exata sem parâmetros inclui suas variações com parâmetros. Se você informar parâmetros, a regra vale apenas para aquele endereço completo. Pasta inclui a área e seus descendentes. Não indexar e não seguir links geram orientações de metatags, aplicadas às páginas abrangidas. Nofollow não impede que os destinos sejam descobertos por outras páginas e é tratado como indicação pelo Google.
Regras que entram em conflito. Robôs específicos não herdam automaticamente o grupo geral. A ferramenta repete as restrições de caminhos nos grupos permitidos e avisa sobre incompatibilidades entre bloqueio e leitura de metatags. Confira também regras já existentes, cabeçalhos do servidor e configurações do plugin de SEO.
Limites e privacidade. Até 100 entradas de páginas, 20 sitemaps e 100 KiB nos campos. O catálogo é uma seleção documentada, não uma lista de todos os robôs, e não se atualiza sozinho. Os campos ficam em memória; não há consulta ao site, teste de robôs reais, IA, envio para processamento ou instalação automática. Fechar ou recarregar a página descarta as escolhas.
Referências: os cartões apontam para os fornecedores. Veja também noindex no Google, metatags e cabeçalhos e protocolo robots.txt.
