¡Hola y hola querido lector! Ya estoy una semana más por aquí y, en esta ocasión, vengo con un post sobre el famoso bot de Google.
Es decir, hoy te enseñaré todo acerca de GoogleBot.
¡Como lo oyes!
Y es que todo este tema del rastreo, la indexación SEO, etc está muy bien pero si no sabes quién mira tu página web estás perdido.
Y, precisamente, de eso voy ha hablar hoy, de ese simpático robot, araña, crawler o bot que utiliza el propio Google para acceder a todas y cada de las URLs del mundo.
Por lo tanto, abre bien lo ojos que el post de hoy es súper interesante si de verdad quieres dedicarte a la consultoría SEO.
¡Vamos con ello!
¿Qué es GoogleBot?
GoogleBot es el nombre que recibe robot de búsqueda utilizado por Google .
Este bot será el encargado de rastrear o crawlear todas las URLs que existen en internet con el fin de ir construyendo la base de datos de Google que, posteriormente utilizará en sus SERPs.
Es decir, GoogleBot es el encargado del rastreo y renderizado de los archivos HTML, JS, CSS, etc. de cualquier página web.
De ahí, que a los bots de los diferentes buscadores de internet se los conozca como arañas o crawlers.
PD. Cada buscador cuenta con su propio bot o crawler. Por ejemplo, Bing tiene su propio bot (BingBot), etc.
¿Cómo funciona Google Bot?
GoogleBot se encargará de ir descubriendo las diferentes URLs que existen en internet siguiendo los diferentes enlaces de las páginas web de forma automática.
De hecho, muchos SEO optimizamos este tiempo que el bot de Google dedica a nuestra página web (Crawl Budget o presupuesto de rastreo) mediante la creación de un enlazado interno estratégico y la obtención de backlinks externos.
Ten en cuenta que, el crawler de Google principalmente lo que hace es seguir enlaces para ir descubriendo URLs y URLs.
Por lo tanto, cuantos más enlaces tenga una página web o una URL en concreto, más papeletas tendrá esta de que sea visitada por Google.
PD. Un mayor número de enlaces y de rastreo no necesariamente significará un mejor posicionamiento web ¡Ojo!
¿Qué puede y que no puede rastrear GoogleBot?
GoogleBot no solo rastreará archivos HTML, JS y CSS.
El bot de Google es capaz de actuar cómo un humano y renderizar el contenido de cada URL, localizar sus imágenes, leer archivos PDF, XML, etc.
De hecho, la única forma que existe actualmente de «engañar» a GoogleBot para que no siga determinados enlaces y, por lo tanto, no llegue a determinadas URLs será la ofuscación de enlaces.
¿Cómo bloquear el acceso a GoogleBot?
Si no quieres engañar a GoogleBot de Google y, simplemente, quieres bloquear su paso deberás hacerlo a través del archivo robots.txt.
Sin embargo, aún así es posible que si una URL cuenta con muchos enlaces (Internos o externos) el archivo robots no sea capaz de parar a GoogleBot.
Es más, hay casos en los que pese a poner una etiqueta noindex a una URL y bloquear su acceso vía robots si Google detecta muchos enlaces a dicha URL o un cierto pico de tráfico web no solo accederá a ella sino que encima la indexará.
Cosas del buscador…
Sin embargo, si quieres bloquear si o sí el acceso de GoogleBot a una URL concreta lo mejor será bloquear su acceso vía robots.txt y eliminar todos los enlaces internos y externos a dicha URL.
De hecho, de esta forma habrás creado una URL huérfana, es decir, sin enlaces a la que no podrá acceder a través de ningún medio (Salvo que tu se la mandes a Google, claro).
Recuerda que el principal medio por el cuál se mueve GoogleBot es a través de los enlaces…
¿Cuándo será interesante impedir el acceso a GoogleBot de determinadas URLs?
Es probable que por motivos de negocio tu página web cuente con ciertas URLs importantes de negocio pero de cero valor estratégico a nivel SEO.
Por este motivo, lo mejor será que GoogleBot no pierda su valiosos tiempo en estas URLs y se centre en las relevantes a nivel SEO.
Para esta tarea lo mejor será desde un principio bloquear al bot de Google el paso a dichas URLs para que no pierda su tiempo en ellas de la forma que te he mostrado anteriormente (Archivo robots + eliminación de enlaces internos/externos).
¿Cómo saber si Google Bot ha pasado por mi página web?
Para saber si GoogleBot ha accedido a tu página web lo mejor será echar un vistazo a los logs de tu servidor.
En los logs podrás observar los registros de acceso a tu página web y conocer los movimientos que ha realizado GoogleBot y el reto de bots en ella.
Estos movimientos quedarán registrados como en el User Agent cómo GoogleBot, GoogleBot Mobile, etc.
Si por el contrario todo esto de los logs te parece muy complicado, Google Search Console a través de su informe de estadísticas de rastreo te dará toda la información sobre el comportamiento de GoogleBot.
Por lo tanto, lo primero que deberás hacer será acceder a:
Google Search Console > Ajustes > Rastreo > Estadísticas de rastre > ABRIR INFORME
Una vez dentro bastará con ir echando un vistazo a las diferentes ventanas que nos ofrece el informe. Te haré un resumen:
- En la ventana POR RESPUESTA encontrarás los diferentes códigos de estado HTTP que ha generado tu página web al intentar acceder GoogleBot a cualquiera de tus URLs.
- En la ventana POR FINALIDAD te dirá si el bot de Google ha descubierto una nueva URL o, simplemente detectado que has hecho modificaciones en la URL.
- En la ventana POR TIPO DE ARCHIVO Google te informará sobre el tipo de archivo web que ha rastreado con GoogleBot al acceder a tu página web.
- En la venta POR TIPO DE ROBOT DE GOOGLE te indicará que tipo de GoogleBot (El de imágenes, el de móviles, etc) ha pasado por tu página web y sus diferentes URLs.
Por si esto fuera poco, si accedes a cualquier URL o recurso de este informe el propio Search Console te indicará todo lo referido a la consulta que realizo GoogleBot.
Es decir, te dirá la hora a la que se hizo la consulta (Hora) , a que URL se hizo (URL) , que código de respuesta dio (Respuesta), que tipo de archivo es (Tipo de archivo), que encontró en él (Finalidad) y el tipo de GoogleBot que lo rastreó (GoogleBot).
¡Vaya que es el propio Google quien te proporciona sus logs!
¡Una maravilla!
Conclusiones
Cómo dice la frase de Sun-Tzu en el libro «El arte de la Guerra»:
Conoce a tu enemigo y conócete a ti mismo, y saldrás triunfador en mil batallas
Por este motivo querido lector, será importante que conozcas a GoogleBot y cómo actúa dentro de tu página web saber ver que ven sus ojos y detectar posibles errores SEO.
De hecho, si no estudias el comportamiento del Bot de Google nunca sabrás lo que realmente está viendo el buscado del cuál depende tu posicionamiento web SEO.
Por lo tanto, no dejes pasar toda la información que te proporciona el propio Google y ponte a estudiar desde hoy mismo las acciones del bot más famoso de internet, GoogleBot.
Ahora te toca a ti querido lector. ¿Conocías todo esto acerca del bot de Google? ¿Qué te ha parecido el post?
Te leo en los comentarios y nos vemos en dos semanas.
¡Hasta pronto!
