
Qué User-Agent envían los scrapers y casi ninguno lee robots.txt
Una prueba con 17 herramientas de scraping muestra qué cabecera User-Agent envían por defecto y cuáles leen robots.txt: solo una configuración de 19 lo hizo. Qué significa para quien administra un servidor web.



