Robots.txt ayudando a Google a indexarnos
por:Una de las cosas que muchas veces se suelen dejar para otro momento y luego al final no se realizan es la configuración del archivo robots.txt un fichero que no está destinado para nosotros o nuestros usuarios, pero sí para los buscadores y siempre nos interesa facilitarles el camino.
¿Cómo indexa un buscador?
Aunque este no es un artículo centrado en la indexación, podemos decir que un buscador, realiza un seguimiento similar al de un usuario. El buscador nos puede visitar, bien porque estamos dados de alta para que nos visite cada cierto tiempo, bien siguiendo un enlace de otra página que le lleva hasta la nuestra.
Una vez que llega a nuestra página, lo normal es que rastree la propia página en la que ha entrado (por ejemplo, este artículo) y alguna más siguiendo los enlaces que encuentra en el artículo actual. Este proceso es complejo y muy costoso en tiempo para el buscador, así que buscan la ayuda de los administradores de páginas para facilitarles el camino.