Veo varios accesos a robots.txt para python y curl, lo que sugiere que (pueden) obedecer a robots.txt.
El problema es que no puedo encontrar los nombres para poner en el archivo para desalentarlos; los obvios son python y curl, pero el más cercano que puedo encontrar es pycurl. ¿Alguien sabe acerca de estos omnipresentes robots?
El problema es que no puedo encontrar los nombres para poner en el archivo para desalentarlos; los obvios son python y curl, pero el más cercano que puedo encontrar es pycurl. ¿Alguien sabe acerca de estos omnipresentes robots?