GoogleBot es el nombre que recibe robot de búsqueda utilizado por Google.
Este bot será el encargado de rastrear o crawlear todas las URLs que existen en internet con el fin de ir construyendo la base de datos de Google.
Es decir, Google Bot es el bot qué tiene programado Google para rastrear los archivos HTML, JS, CSS, etc de una página web.
De ahí, que a los bots de los distintos buscadores de internet se los conozca como arañas o crawlers.
¿Cómo funciona Google Bot?
GoogleBot descubre las diferentes URLs de internet de forma automática siguiendo los diferentes enlaces (Tanto los enlaces nofollow, como los enlaces dofollow) que existen en internet.
De hecho, se puede acelerar dicho proceso mediante la creación de enlaces internos y externos (Backlinks) ya que principalmente el crawler de Google lo que hace es seguir enlaces e ir descubriendo URL a base de seguir dichos enlaces.
También has de tener en cuenta que GoogleBot no solo rastrea archivos HTML y su contenido, también es capaz de rastrear y localizar imágenes, archivos PDF, XML, etc.
La única forma que existe de «engañar» a GoogleBot actualmente para que no siga los enlaces es mediante la ofuscación de enlaces ya que a día de hoy tiene problemas para seguir todos aquellos enlaces que no tengan una etiqueta HTML href.
¿Cómo puedo bloquear el acceso a Google Bot?
Si un consultor SEO no desea que una o varias URLs sean rastreadas por el bot de Google podrá utilizar el archivo robots.txt para bloquear su acceso y el del resto de Bots de otros buscadores de internet o herramientas SEO.
Sin embargo, ten mucho cuidado a la hora de realizar dicho bloqueo ya que si no tienes un amplio conocimiento de este tipo de archivos es probable que acabes cometiendo errores SEO básicos y fundamentales que lastren tu posicionamiento web.
¿Cómo saber si Google Bot ha pasado por mi página web?
Para saber si GoogleBot ha accedido a tu página web será tan sencillo como echar un vistazo a los logs de tu servidor.
En ellos podrás observar los registros de acceso a tu página web y saber si se ha llevado a cabo algún movimiento por el User Agent (Bot) GoogleBot.
Este bot te podrá visitar con distintos navegadores y diferentes nombres, GoogleBot, GoogleBot Mobile, etc. Por este motivo, es importante estudiar los logs de tu servidor y ver que acciones ha llevado a cabo este bot en tu página web con el fin de descubrir posibles puntos de fuga y errores en tu página web.
