¡Hola y hola querido lector! Ya estoy una semana más por aquí y, en esta ocasión, vengo con un post sobre Googlebot, el rastreador de Google.
Todo eso del rastreo y la indexación está muy bien, pero si no sabes quién visita tu página web y cómo lo hace, estás perdido.
En este post te explico qué es Googlebot, cómo funciona, qué tipos existen, qué puede y qué no puede rastrear, cómo controlar su acceso y cómo saber si ha pasado por tu página web. ¡Vamos con ello!
Resumen rápido
- Googlebot es el rastreador de Google: descubre URLs siguiendo enlaces y sitemaps, descarga su contenido y lo renderiza para que Google pueda indexarlo.
- El principal es Googlebot Smartphone, porque Google indexa priorizando la versión móvil de las páginas.
- Para bloquear el rastreo se utiliza el robots.txt; para evitar la indexación, la etiqueta noindex. No se deben combinar en la misma URL.
- Puedes ver su actividad en el informe de estadísticas de rastreo de Search Console y en los logs del servidor.
¿Qué es Googlebot?
Googlebot es el nombre del rastreador (también llamado araña, crawler o bot) que utiliza Google para descubrir y descargar las páginas web que después analiza e incluye en su índice.
Se encarga del rastreo y del renderizado de los archivos HTML, CSS, JavaScript e imágenes de las páginas web, utilizando una versión actualizada del navegador Chrome.
PD. Cada buscador tiene su propio rastreador. Por ejemplo, Bing utiliza Bingbot, y los asistentes de IA tienen los suyos, como GPTBot o ClaudeBot.
- Más tráfico, más ventas, menos gasto.
- Genera clientes nuevos desde Google gratis.
- Resultados visibles en solo 6 meses.
¿Cómo funciona Googlebot?
- Descubre URLs siguiendo los enlaces de las páginas que ya conoce, los sitemaps XML y las URLs enviadas desde Search Console.
- Consulta el robots.txt del dominio para saber qué puede rastrear.
- Descarga el contenido de cada URL permitida.
- Renderiza la página, ejecutando el JavaScript cuando es necesario.
- Envía el contenido a los sistemas de indexación, que deciden si la página entra en el índice.
Por eso, el enlazado interno, los enlaces externos y el sitemap son tan importantes: son las vías por las que Googlebot encuentra tus páginas. Y la cantidad de rastreo que dedica a tu página web es lo que se conoce como crawl budget.
PD. Más rastreo no significa mejor posicionamiento. Lo importante es que Googlebot rastree con frecuencia las páginas que te interesan y no pierda tiempo en URLs sin valor.
Tipos de rastreadores de Google
| Rastreador | Para qué se utiliza |
|---|---|
| Googlebot Smartphone | Rastreador principal: simula un móvil y es el que se utiliza para la indexación en la mayoría de páginas web |
| Googlebot Desktop | Simula un ordenador; se utiliza en menor medida |
| Googlebot Image | Rastrea imágenes para Google Imágenes |
| Googlebot Video | Rastrea vídeos |
| Googlebot News | Rastrea contenido para Google News |
| Google StoreBot | Rastrea páginas de productos y compras |
| AdsBot | Revisa la calidad de las páginas de destino de Google Ads |
| Google-InspectionTool | Se utiliza en las pruebas de Search Console, como la inspección de URLs |
Además, existe Google-Extended, que no es un rastreador independiente sino una indicación en el robots.txt para controlar si tu contenido puede utilizarse para entrenar y mejorar los modelos de IA de Google.
- Más tráfico, más ventas, menos gasto.
- Genera clientes nuevos desde Google gratis.
- Resultados visibles en solo 6 meses.
¿Qué puede y qué no puede rastrear Googlebot?
Lo que sí puede hacer
- Rastrear HTML, CSS, JavaScript e imágenes.
- Leer archivos PDF y otros formatos de texto.
- Ejecutar JavaScript y ver el contenido generado dinámicamente, aunque con retrasos y limitaciones.
- Seguir enlaces creados con etiquetas
<a href>.
Lo que no hace
- No hace clic en botones ni rellena formularios.
- No inicia sesión ni accede a contenido protegido con contraseña.
- No hace scroll como un usuario: el contenido que solo carga al hacer scroll o al interactuar puede no verlo.
- No sigue fácilmente enlaces creados solo con JavaScript (por ejemplo, con eventos onclick sin href).
- No procesa archivos HTML enormes: solo tiene en cuenta los primeros megabytes de cada archivo.
Cómo controlar el acceso de Googlebot
| Objetivo | Método |
|---|---|
| Que no rastree una URL o carpeta | Bloqueo en el robots.txt |
| Que no indexe una página | Etiqueta noindex (sin bloquearla en el robots.txt) |
| Que nadie acceda | Protección con contraseña |
| Retirarla rápido de los resultados | Herramienta de retirada de URLs de Search Console |
| Reducir la frecuencia de rastreo en una emergencia | Responder temporalmente con códigos 503 o 429 |
Bloquear el rastreo con el robots.txt
Googlebot respeta las indicaciones del archivo robots.txt, así que es la forma correcta de evitar que rastree determinadas URLs o carpetas:
User-agent: Googlebot Disallow: /carrito/ Disallow: /mi-cuenta/Eso sí, bloquear el rastreo no impide la indexación. Si una URL bloqueada recibe muchos enlaces, Google puede mostrarla en los resultados sin haberla rastreado, normalmente sin descripción.
Evitar la indexación con noindex
Si no quieres que una página aparezca en Google, utiliza la etiqueta noindex y deja que Googlebot la rastree. Si la bloqueas también en el robots.txt, Googlebot no podrá leer el noindex y la URL podría seguir indexada. Te lo explico en cómo desindexar una URL de Google.
¿Cuándo conviene limitar el rastreo?
En páginas web grandes o tiendas online, conviene evitar que Googlebot pierda tiempo en URLs sin valor SEO: filtros y ordenaciones, búsquedas internas, carrito, área de clientes o parámetros de seguimiento. Así se centra en las páginas importantes.
PD. Google retiró de Search Console el ajuste para limitar la frecuencia de rastreo. Si Googlebot sobrecarga tu servidor, la solución temporal es responder con códigos 503 o 429 y, a medio plazo, mejorar el hosting o reducir las URLs rastreables.
- Más tráfico, más ventas, menos gasto.
- Genera clientes nuevos desde Google gratis.
- Resultados visibles en solo 6 meses.
¿Cómo saber si Googlebot ha pasado por tu página web?
Informe de estadísticas de rastreo de Search Console
Es la forma más sencilla de ver la actividad de Googlebot. Accede desde Search Console > Ajustes > Estadísticas de rastreo > Abrir informe.
- Por respuesta: los códigos de estado HTTP que ha recibido Googlebot.
- Por tipo de archivo: HTML, imágenes, JavaScript, CSS, etc.
- Por finalidad: si ha descubierto URLs nuevas o actualizado las que ya conocía.
- Por tipo de Googlebot: smartphone, ordenador, imágenes, etc.
Además, el informe muestra el tiempo medio de respuesta de tu servidor y el estado del host, y al pulsar en cada categoría verás ejemplos de URLs rastreadas con fecha y código de respuesta.
Inspección de URLs
Para una URL concreta, la herramienta de inspección de Search Console te indica cuándo fue rastreada por última vez y con qué tipo de Googlebot.
Logs del servidor
Los logs del servidor registran cada visita de Googlebot con su user agent, la URL y el código de respuesta. Puedes analizarlos con herramientas como Screaming Frog Log File Analyser.
Cómo verificar que es el Googlebot real
Cualquiera puede hacerse pasar por Googlebot cambiando su user agent. Para comprobar que una visita es realmente de Google, verifica la IP mediante una búsqueda DNS inversa: debe pertenecer a los dominios googlebot.com o google.com. Google también publica sus rangos de IP.
Conclusiones sobre Googlebot
Como dice la famosa frase de «El arte de la guerra»: conoce a tu enemigo y conócete a ti mismo. Aunque, en este caso, Googlebot es más bien tu mejor aliado.
Mi recomendación: revisa con regularidad el informe de estadísticas de rastreo, facilita el acceso a tus páginas importantes, bloquea las que no aportan valor y no combines robots.txt y noindex en la misma URL. Así Googlebot verá tu página web como realmente quieres.
Si quieres saber cómo está rastreando Google tu página web y detectar errores que frenan tu posicionamiento, puedo analizarlo en una auditoría SEO.
Ahora te toca a ti, querido lector. ¿Revisas la actividad de Googlebot en tu página web? ¡Te leo en los comentarios!
Preguntas frecuentes sobre Googlebot
¿Qué es Googlebot?
Es el rastreador de Google: un programa que descubre URLs siguiendo enlaces y sitemaps, descarga y renderiza su contenido y lo envía a los sistemas de indexación de Google.
¿Cómo funciona Googlebot?
Descubre URLs a través de enlaces, sitemaps y Search Console, consulta el robots.txt, descarga el contenido permitido, renderiza la página ejecutando JavaScript y envía el resultado a los sistemas de indexación.
¿Qué tipos de Googlebot existen?
Los principales son Googlebot Smartphone, que es el que más se utiliza para indexar, y Googlebot Desktop. Además existen rastreadores específicos para imágenes, vídeos, noticias, productos y anuncios.
¿Cómo bloquear a Googlebot?
Para evitar que rastree una URL, utiliza el robots.txt. Para evitar que la indexe, utiliza la etiqueta noindex sin bloquearla en el robots.txt. Para que nadie acceda, protégela con contraseña.
¿Puede Google indexar una URL bloqueada en el robots.txt?
Sí. Si una URL bloqueada recibe enlaces, Google puede mostrarla en los resultados sin haberla rastreado, normalmente sin descripción. Para evitarlo hay que utilizar noindex y permitir el rastreo.
¿Cómo saber si Googlebot ha visitado mi página web?
Con el informe de estadísticas de rastreo de Search Console, la herramienta de inspección de URLs o analizando los logs del servidor, donde aparece su user agent en cada visita.
¿Cómo saber si una visita es realmente de Googlebot?
Verificando la IP mediante una búsqueda DNS inversa, que debe pertenecer a los dominios googlebot.com o google.com, o comparándola con los rangos de IP que publica Google. El user agent por sí solo se puede falsificar.
