Qué User-Agent envían los scrapers y casi ninguno lee robots.txt

Bots de scraping llegando a un servidor web y registrados en sus logs

Una prueba publicada el 12/11/2026 por Massive, una empresa que vende proxies residenciales y servicios de renderizado para scraping, ha comprobado qué cabecera User-Agent envían por defecto 17 herramientas de código abierto para extraer datos de webs y si respetan robots.txt. El resultado interesa a quien administra servidores: diez de ellas se identifican claramente, cuatro se hacen pasar por un navegador y solo una de las 19 configuraciones probadas leyó robots.txt.

Las claves del User-Agent de los scrapers en 20 segundos

  • 10 de 17 herramientas se identifican en el User-Agent, como python-requests o Scrapy.
  • Playwright y Puppeteer delatan HeadlessChrome.
  • Cuatro herramientas imitan a un navegador por defecto.
  • Solo Scrapy, con su proyecto generado, leyó robots.txt.

El autor, Franklin Uche, responsable de comunidad de Massive, hizo las pruebas el 9 de noviembre contra un servidor local propio que registraba todas las cabeceras. Ese servidor solo hablaba HTTP/1.1, así que no se observaron las huellas de TLS ni de HTTP/2, que también sirven para detectar bots. El estudio es de una empresa que vende herramientas para scraping, lo que conviene tener presente al leer sus recomendaciones, pero los datos de las cabeceras son útiles para el lado del servidor.

Qué aparece en tus logs

Las bibliotecas HTTP usan un formato sencillo, nombre de producto, barra y versión: python-requests/2.34.2, python-httpx/0.28.1, axios/1.21.0 o Python/3.12 aiohttp/3.14.5. Scrapy añade una URL entre paréntesis, (+https://scrapy.org), la convención que permite saber quién opera un rastreador. Este tipo de cliente envía entre 2 y 7 cabeceras.

Los navegadores sin interfaz son más difíciles de distinguir, pero por defecto se delatan: Playwright y Puppeteer anuncian HeadlessChrome/156, y Playwright lo repite en la cabecera sec-ch-ua. En cambio, Scrapling, Crawl4AI y las dos versiones de Crawlee envían por defecto una cadena de navegador corriente, y curl_cffi no envía User-Agent salvo que se active su modo de imitación de Chrome. Las herramientas que imitan navegadores envían entre 11 y 18 cabeceras, incluidas las de pistas de cliente y Sec-Fetch-*.

Para ver qué clientes de este tipo llegan a un servidor basta con contar los User-Agent del log de acceso. Con el formato combinado de nginx o Apache:

# Los 20 User-Agent más frecuentes
awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

# Solo bibliotecas y navegadores sin interfaz
grep -Ei 'python-requests|python-httpx|aiohttp|axios|scrapy|headlesschrome|curl/|wget' 
  /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rnLenguaje del código: PHP (php)

Con esos datos se puede decidir qué hacer: limitar la tasa de peticiones a ciertos clientes, bloquear los que no aportan nada o pedir a un rastreador concreto que se identifique mejor. Hay que hacerlo con cuidado, porque curl o python-requests también los usan monitorizaciones, integraciones y clientes legítimos de una API.

robots.txt no protege nada por sí solo

De las 19 configuraciones, solo una leyó robots.txt: Scrapy con ROBOTSTXT_OBEY = True, el ajuste que escribe scrapy startproject en los proyectos nuevos, aunque el valor por defecto de Scrapy es False. Crawlee y Crawl4AI también lo traen desactivado, y tres configuraciones que seguían enlaces descargaron la página prohibida. Las bibliotecas HTTP no lo leen nunca, porque solo piden las URL que se les indican.

La conclusión práctica es que robots.txt sirve para indicar preferencias a los rastreadores que quieren cumplirlas, pero no es un control de acceso. Según el artículo, en Estados Unidos no es vinculante por sí mismo, mientras que en la Unión Europea puede funcionar como exclusión expresa de la minería de textos y datos, y el borrador de directrices sobre scraping del Comité Europeo de Protección de Datos (CEPD) pide a los scrapers que eviten los sitios que se oponen claramente mediante robots.txt. Son interpretaciones del autor, no un análisis jurídico.

El propio estudio admite que el User-Agent es solo una cabecera: los sitios también analizan el saludo TLS, los parámetros de HTTP/2, el orden de las cabeceras, las propiedades del navegador visibles desde JavaScript y la reputación de la IP. Para proteger contenido o limitar la carga, hacen falta límites de tasa, reglas en el cortafuegos de aplicación web o servicios de gestión de bots, no solo robots.txt y filtros por User-Agent.

Preguntas frecuentes

¿Los scrapers respetan robots.txt?

Según esta prueba, casi nunca por defecto: solo una de 19 configuraciones lo leyó. Las bibliotecas HTTP no lo consultan y varios rastreadores lo traen desactivado.

¿Cómo detecto scrapers en mis logs?

Contando los User-Agent del log de acceso y buscando bibliotecas como python-requests, aiohttp, axios o Scrapy, y navegadores sin interfaz que anuncian HeadlessChrome.

¿Basta con bloquear por User-Agent?

No. El User-Agent se cambia con una línea de código y algunas herramientas imitan navegadores por defecto. Hacen falta también límites de tasa y otras señales.

Fuentes:

Suscríbete al boletín SysAdmin

Este es tu recurso para las últimas noticias y consejos sobre administración de sistemas, Linux, Windows, cloud computing, seguridad de la nube, etc. Lo enviamos 2 días a la semana. Recuerda revisar tu email para confirmar la suscripción.

Scroll al inicio
×