Ejemplo de robots.txt
User-agent: *
Disallow: /filter/
Allow: /products/
Sitemap: https://example.com/sitemap.xmlEjemplo para example.com, no las reglas reales de Z-Consult. Esto no protege los datos privados.
Reglas de rastreo
Versión en texto
- Robot que respeta las reglas
- robots.txt · User-agent
- Allow → ruta permitida
- Disallow → ruta no permitida
Por qué es importante
Las reglas orientan el rastreo hacia las partes necesarias del sitio. Pueden limitar las solicitudes a variantes poco relevantes, pero no protegen la información privada.
Cómo funciona
User-agent identifica el robot al que se aplican las reglas. Allow y Disallow indican las rutas permitidas y bloqueadas. Las reglas se aplican al protocolo, host y puerto concretos para los que se publica el archivo.
Ejemplo
Ejemplo: User-agent: * Disallow: /filter/ Esto indica una restricción de rastreo de las URL bajo /filter/ para los robots que respetan las reglas.
Errores frecuentes
Una URL cuyo rastreo está bloqueado puede seguir apareciendo en los resultados de búsqueda. Si el robot no puede acceder a la página, es posible que no detecte su directiva noindex. Para proteger datos privados, utilice un control de acceso efectivo.
¿Cómo comprobarlo en la práctica?
El archivo se encuentra en la raíz del protocolo y host concretos, por ejemplo, https://example.com/robots.txt. Compruebe el grupo User-agent y la coincidencia de la ruta. Las reglas para Google distinguen entre mayúsculas y minúsculas; en Allow/Disallow, prevalece la instrucción coincidente más específica.
Diferencias y limitaciones
robots.txt controla el rastreo, no la indexación ni la privacidad. Sitemap indica un archivo con URL, pero no permite acceder a una ruta bloqueada por otras reglas. Google no admite noindex como directiva de robots.txt; para ello se utiliza una directiva meta o HTTP accesible.
Sintaxis de las directivas
User-agent selecciona el grupo de reglas. Disallow define una ruta bloqueada y Allow, una permitida; un Disallow vacío no bloquea todas las URL. Sitemap utiliza la URL absoluta del mapa del sitio. Los comentarios empiezan por #; el archivo de ejemplo no describe las reglas reales de Z-Consult.
Acceso a los recursos
Las imágenes, los archivos CSS o JavaScript bloqueados pueden impedir que la página se interprete correctamente. Comprueba no solo la URL del HTML, sino también sus recursos. Las reglas se aplican al host y al protocolo correspondientes, no automáticamente a todos los subdominios.
Fuentes oficiales
Responsabilidad editorial: Martin Zhelyazkov · Fundador de Z-Consult
Actualizado: 5.11.2026
Para solicitar una corrección o hacer una pregunta: office@z-consult.bg