¡Muy buenas querido lector! Ya estoy una semana más por aquí y, en esta ocasión, te explico qué es el crawl budget o presupuesto de rastreo y cómo optimizarlo.
Te aviso de entrada, porque esto ahorra mucho tiempo: si tu página web tiene menos de unos pocos miles de URLs, el crawl budget no es tu problema. Lo dice el propio Google.
En este post verás qué es realmente, cuándo importa y qué hacer si tu proyecto está en ese caso. ¡Vamos al lío!
Resumen rápido
- El crawl budget es la cantidad de rastreo que Google dedica a tu página web.
- Solo es un problema en webs grandes o con muchas URLs cambiando a diario.
- Depende de dos cosas: cuánto aguanta tu servidor y cuánto interés tiene Google en tu web.
- Más rastreo no significa mejor posicionamiento: significa que se descubren antes tus cambios.
¿Qué es el crawl budget?
Es la cantidad de tiempo y recursos que Google dedica a rastrear tu página web. Como la web es prácticamente infinita, Googlebot no puede rastrearlo todo, así que reparte su capacidad.
Google lo explica con dos componentes:
| Componente | De qué depende |
|---|---|
| Límite de capacidad de rastreo | De lo rápido que responda tu servidor y de si empieza a dar errores |
| Demanda de rastreo | De la popularidad de tus URLs, de cuánto cambian y de cuántas conoce Google |
PD. Un matiz importante: que Google rastree una URL no significa que la indexe. Son dos procesos distintos. Cada página se analiza después para decidir si entra en el índice. Te lo explico en qué es Googlebot.
- Más tráfico, más ventas, menos gasto.
- Genera clientes nuevos desde Google gratis.
- Resultados visibles en solo 6 meses.
¿A quién le importa de verdad el crawl budget?
Aquí está el punto que casi ningún post menciona. Google ha dicho expresamente que la mayoría de páginas web no necesitan preocuparse por esto.
| Tipo de web | ¿Es un problema? |
|---|---|
| Web de servicios con 30 páginas | No, en absoluto |
| Blog con 200 posts | No |
| Tienda online mediana | Normalmente no, salvo problemas de filtros |
| Web con más de unos miles de URLs | Empieza a importar |
| Gran ecommerce con facetas | Sí, y bastante |
| Portal con contenido que cambia a diario | Sí |
| Web con muchas URLs «Descubierta, no indexada» | Sí, conviene revisarlo |
Si tu web es pequeña y no indexa, el problema casi nunca es el rastreo: suele ser calidad del contenido, canonicals mal puestas o bloqueos. Revísalo en tu auditoría SEO.
Cómo saber cuál es tu crawl budget
- Estadísticas de rastreo de Search Console: te dice cuántas peticiones hace Google al día, cuánto descarga y el tiempo medio de respuesta.
- Compara con tu número de URLs: si Google hace 300 peticiones diarias y tienes 50.000 URLs, tardará meses en recorrerlas.
- Revisa el informe de páginas: mira cuántas están «Descubiertas, actualmente sin indexar».
- Mira los logs del servidor, que es la fuente más precisa: ahí ves exactamente qué rastrea Googlebot y con qué frecuencia.
- Más tráfico, más ventas, menos gasto.
- Genera clientes nuevos desde Google gratis.
- Resultados visibles en solo 6 meses.
Cómo optimizar el presupuesto de rastreo
1. Reduce las URLs que no aportan
Es la palanca más efectiva. Cada URL sin valor que Google rastrea es tiempo que no dedica a las importantes:
- Filtros y parámetros que generan combinaciones infinitas.
- Resultados del buscador interno indexables.
- Archivos de etiquetas con dos entradas cada uno.
- Paginaciones interminables.
- URLs de sesión o de seguimiento.
Te lo explico en thin content.
2. Cuida el sitemap
- Solo URLs indexables: sin redirecciones, sin errores, sin noindex.
- Con su fecha de modificación real, que ayuda a priorizar.
- Actualizado y enviado en Search Console.
Te lo cuento en cómo crear un sitemap XML.
3. Arregla los códigos de estado
- Elimina cadenas de redirecciones: cada salto consume rastreo.
- Actualiza los enlaces internos para que apunten al destino final.
- Corrige los errores de servidor: si tu web falla, Google reduce el rastreo.
Lo tienes en códigos de estado HTTP.
4. Mejora la velocidad de respuesta
Cuanto antes responda tu servidor, más URLs rastrea Google en el mismo tiempo. Aquí el TTFB importa más que la puntuación de PageSpeed.
5. Trabaja el enlazado interno
Lo que no está enlazado, se rastrea poco o nada. Asegúrate de que tus páginas importantes estén bien enlazadas y a pocos clics. Te lo explico en enlazado interno.
6. Utiliza el robots.txt con cabeza
Bloquea lo que no aporta nada, como filtros o secciones de sistema. Eso sí, recuerda: bloquear no desindexa, y si una URL está bloqueada Google no puede leer su noindex. Lo explico en robots.txt.
7. Valora la ofuscación en webs grandes
En tiendas online con muchos filtros, la ofuscación de enlaces evita que Googlebot se pierda en combinaciones infinitas. Es una técnica avanzada y solo tiene sentido a cierta escala.
Errores habituales
- Preocuparse por el crawl budget teniendo cincuenta URLs.
- Pensar que más rastreo es mejor posicionamiento.
- Bloquear en robots.txt URLs que se quieren desindexar.
- Meter todo en el sitemap, incluidas URLs no indexables.
- Ignorar los errores de servidor, que reducen el rastreo directamente.
- Confundir rastreo con indexación.
PD. Dos apuntes sobre herramientas que ya no sirven: la caché de Google fue retirada, así que ya no se puede usar su versión solo texto para contar enlaces, y la directiva Crawl-delay del robots.txt la ignora Google. Para ajustar la frecuencia de rastreo, lo que hay es la configuración de Search Console.
- Más tráfico, más ventas, menos gasto.
- Genera clientes nuevos desde Google gratis.
- Resultados visibles en solo 6 meses.
Conclusiones
El crawl budget es un tema serio en webs grandes y una distracción en las pequeñas. Antes de optimizarlo, comprueba si de verdad es tu problema.
Mi recomendación: mira las estadísticas de rastreo de Search Console. Si Google recorre tu web sin problemas, dedica ese tiempo a contenido y a enlaces.
Si tienes una web grande y sospechas que Google no llega a todo, puedo analizarlo en una auditoría SEO. Y si necesitas acompañamiento continuo, te ayudo con mi consultoría SEO.
Ahora te toca a ti, querido lector. ¿Cuántas peticiones diarias recibe tu web de Googlebot? ¡Te leo en los comentarios!
Preguntas frecuentes sobre el crawl budget
¿Qué es el crawl budget?
Es la cantidad de tiempo y recursos que Google dedica a rastrear una página web. Depende de lo que soporte el servidor y del interés que tenga el buscador en sus contenidos.
¿Debo preocuparme por el presupuesto de rastreo?
Solo si la página web tiene muchos miles de URLs o contenidos que cambian constantemente. Google ha indicado que la mayoría de webs no necesitan ocuparse de este asunto.
¿Mejora el posicionamiento aumentar el rastreo?
No directamente. Que Googlebot pase más por una web solo implica que detecta antes sus cambios; no supone mejores posiciones ni garantiza la indexación de esas páginas.
¿Cómo saber cuánto rastrea Google mi web?
Con el informe de estadísticas de rastreo de Search Console, que muestra las peticiones diarias, los datos descargados y el tiempo de respuesta. Los logs del servidor ofrecen el detalle más preciso.
¿Es lo mismo rastrear que indexar?
No. Rastrear es descargar el contenido de una URL; indexar es decidir que forme parte del índice. Una página puede rastrearse muchas veces y no llegar a indexarse nunca.
¿Qué hago si Google no rastrea mis páginas nuevas?
Comprobar que están enlazadas internamente, que aparecen en el sitemap y que no están bloqueadas. En webs pequeñas, la falta de indexación suele deberse a la calidad del contenido, no al rastreo.
¿Puedo pedirle a Google que rastree más rápido?
No se puede forzar, pero sí ajustar la frecuencia en Search Console cuando el servidor lo necesita. La directiva Crawl-delay del robots.txt no la tiene en cuenta Google.
