Saturday, May 9, 2009

robots.txt

En la 2600 de la primavera 2009, aparece un artículo llamado "robots.txt Mining Script for the Lazy" y aunque hay muchas cosas que se esconden en estos robots.txt (en los CMS generalmente la pantalla de login), existen cosas que no deberías de ver, ¿cómo cuáles? preguntále a Irongeek.

El uso de los robots.txt, es un ejemplo de sigue existiendo gente que cree que puede confiar en la gente. ¡Bien por ellos! =P