Makrosites
Suas ideias em realidade digital!
O que é o robots.txt?
O robots.txt é um arquivo localizado na raiz do seu site:
https://www.seusite.com/robots.txtEle informa aos mecanismos de busca (Google, Bing, etc.) quais páginas podem ou não ser rastreadas.
⚠️ Mas cuidado: configurar errado pode impedir seu site de aparecer no Google.
Estrutura básica correta (2026)
User-agent: *
Disallow:
Sitemap: https://www.seusite.com/sitemap.xml
Esse é o modelo mínimo recomendado:
- User-agent: * → aplica a todos os bots
- Disallow: vazio → permite rastreamento total
- Sitemap: informa onde está seu sitemap
Exemplo prático para site em PHP
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /includes/
Allow: /
Sitemap: https://www.makrosites.com.br/sitemap
Aqui você bloqueia:
- Painel administrativo
- APIs internas
- Pastas técnicas
Erro grave que destrói SEO
User-agent: *
Disallow: /
Isso bloqueia o site inteiro. Já aconteceu com milhares de empresas.
Robots.txt não bloqueia indexação!
Importante: robots.txt apenas bloqueia rastreamento. Se uma página tiver links externos, pode aparecer no Google mesmo bloqueada.
Para bloquear indexação use:
X-Robots-Tag: noindexComo validar se seu robots.txt está correto?
Você pode:
- Testar no Google Search Console
- Usar ferramentas de verificação HTTP
👉 Use nossa ferramenta:
Verificador de URLs (confira status HTTP e redirecionamentos)
Interligação com Sitemap
O robots.txt deve sempre apontar para o sitemap:
Sitemap: https://www.makrosites.com.br/sitemapSe você ainda não configurou, veja:
E o .htaccess influencia?
Sim. Se o seu .htaccess bloquear bots ou retornar erro 403/500, o Google pode parar de rastrear.
Confira também:
Checklist final (2026)
- robots.txt acessível via HTTPS
- Não bloquear o site inteiro
- Adicionar linha do Sitemap
- Testar no Search Console
- Não bloquear CSS e JS importantes
Arquivo robots.txt mal configurado é uma das principais causas de:
- Site não indexado
- Queda brusca de tráfego
- Páginas não aparecendo no Google