Optimiza tu archivo robots.txt en sitios WordPress que utilizan Cloudflare: Guía con script automatizado

Una solución eficiente para mejorar la calidad de tus informes SEO y reducir el “ruido” innecesario causado por directorios técnicos de Cloudflare.

Cuando se utiliza Cloudflare como red de distribución de contenidos (CDN) o como capa de seguridad adicional para un sitio web, es común encontrar advertencias o errores relacionados con rutas internas del sistema en herramientas de análisis SEO. Uno de los más frecuentes es el acceso de rastreadores al directorio /cdn-cgi/, una ruta que Cloudflare emplea para funcionalidades como protección DDoS, optimización de imágenes o carga inteligente de contenido.

Aunque estos accesos no afectan directamente al posicionamiento SEO ni al rendimiento del sitio, sí generan falsos positivos en informes como los de Google Search Console o Screaming Frog, lo que puede dificultar un análisis preciso del estado del sitio web.

¿Qué recomienda Cloudflare?

Cloudflare ha publicado en su documentación oficial que la mejor práctica consiste en añadir la siguiente directiva al archivo robots.txt de tu sitio web:

Disallow: /cdn-cgi/

Este pequeño ajuste evita que los rastreadores accedan a ese directorio, contribuyendo a eliminar advertencias innecesarias y permitiendo que el análisis SEO se centre exclusivamente en las URLs relevantes del contenido publicado.

Script automatizado para WordPress: solución eficaz para múltiples sitios

Con el objetivo de facilitar la aplicación de esta recomendación, especialmente para administradores que gestionan numerosos sitios WordPress, se ha desarrollado un script en Bash que automatiza por completo el proceso. El script es capaz de:

1. Buscar todas las instalaciones de WordPress dentro de un directorio base.
2. Verificar si existe un archivo robots.txt en la raíz del sitio.
3. Añadir la línea Disallow: /cdn-cgi/ si no está presente.
4. Crear un nuevo archivo robots.txt con configuraciones recomendadas si el archivo no existe.

Repositorio oficial:
WordPress-Cloudflare-robots.txt-Updater (GitHub)

¿Cómo instalar y utilizar el script?

Opción rápida (vía curl)

curl -O https://raw.githubusercontent.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater/refs/heads/main/update_robots_cloudflare.sh
chmod +x update_robots_cloudflare.sh

Opción completa (clonar repositorio)

git clone https://github.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater.git
cd WordPress-Cloudflare-robots.txt-Updater
chmod +x update_robots_cloudflare.sh

Ejecutar el script

Para escanear el directorio actual:

./update_robots_cloudflare.sh

Para escanear un directorio específico:

./update_robots_cloudflare.sh /ruta/a/tus/sitios

Ventajas clave de este enfoque

• Ahorro de tiempo: Automatiza la revisión y modificación de archivos robots.txt en múltiples sitios WordPress.
• Prevención de errores duplicados: Verifica si la directiva ya existe antes de insertarla.
• Estructura correcta: Añade los retornos de línea y comentarios necesarios para mantener la legibilidad del archivo.
• Rendimiento optimizado: Evita buscar dentro de directorios como wp-includes, wp-content o wp-admin para mejorar la eficiencia.
• Seguridad: Solo actúa en ubicaciones con una instalación válida de WordPress (detectando el archivo wp-config.php).
• Transparencia: Muestra en consola cada paso realizado, facilitando el seguimiento de cambios.

¿Por qué deberías implementar esta solución?

Mantener tu archivo robots.txt limpio y ajustado a las necesidades reales del sitio mejora la precisión de herramientas como Google Search Console, Ahrefs o SEMrush. Esta pequeña optimización también evita confusiones durante auditorías técnicas o revisiones SEO automatizadas.

La directiva Disallow: /cdn-cgi/ no tiene impacto negativo en tu sitio ni limita funcionalidades de Cloudflare. Simplemente evita que los motores de búsqueda accedan a una parte irrelevante del backend.

Conclusión

Si utilizas Cloudflare en tus instalaciones de WordPress, aplicar esta recomendación de forma automatizada puede marcar una diferencia significativa en la claridad de tus informes SEO. Este script facilita su implementación sin necesidad de intervención manual en cada sitio.

Además, al estar publicado bajo licencia MIT, puedes adaptarlo, extenderlo o integrarlo en otros procesos de automatización sin restricciones.