Un robot obediente: la página /robots.txt

En uno de los primeros posts mencioné al robots.txt y lo dejé como tema pendiente. Bueno, acá vamos con ese tema.

Cuando cualquier bot entra al site, lo primero que se fija es si el webmaster le dejó indicaciones en la página /robots.txt. Una de esas indicaciones podría ser, por ejemplo, que no entre a determinada parte del site, o a ninguna. Otra indicación es decirle donde se encuentra el Sitemap así conoce la estructura del site y no se pierde nada.

En mi caso, el código de mi robots.txt puede verse en http://daniserra.blogspot.com/robots.txt con lo cual, las indicaciones que yo le doy son:
1) "A este site lo podés recorrer todo, tanto vos Googlebot como cualquier otro bot". El asterisco en "User-agent: *" dice que están todos los bots bienvenidos, y el "Disallow: /search" dice que no los estoy excluyendo de ningúna parte.
2) "Mi site map está acá: Sitemap: http://daniserra.blogspot.com/feeds/posts/default?orderby=updated, no te pierdas ninguna página please.

Muy simple pero muy importante para darle la bienvenida e indicaciones precisas a nuestro visitante.

Próximo post: MyBlogLog