¡Muy buenas querido lector! Ya estoy una semana más por aquí y, en esta ocasión, te enseñaré qué es el crawl budget o presupuesto de rastreo de una página y cómo optimizarlo.
¿Sabes a lo que me estoy refiriendo querido lector?
Si la respuesta es no tranquilo querido lector.
En este post te enseñaré que es el crawl budget, más conocido cómo presupuesto de rastreo, te enseñaré cómo conocer el crawl budget de tu página web y te indicaré paso a paso cómo optimizarlo para mejorar tu posicionamiento web SEO.
Por lo tanto, no me enrollo más que hay mucho, pero que mucho que contar.
¡Al lío!
¿Qué es un crawler?
Se conoce cómo crawler a cualquier software capaz de rastrear y explorar de forma automática todas las URL de cualquier página web.
De hecho, los principales motores de búsqueda cómo Bing o Google cuentan con sus propios crawlers también conocidos cómo bots o arañas.
Es más, gracias a estas arañas los buscadores son capaces de rastrear el contenido de las diferentes páginas web de internet y crear su propia base de datos para, posteriormente, utilizarla en sus resultados de búsqueda.
¿Qué es el crawl budget o presupuesto de rastreo?
El Crawl Budget o presupuesto de rastreo será el tiempo asignado por los buscadores cómo Google o Bing para rastrear una página web de internet.
Es decir, el crawl budget será tiempo que el buscador tendrá destinado a leer el contenido de una página web.
Cómo supondrás, optimizar este tiempo de rastreo será fundamental para que los buscadores puedan rastrear y leer el mayor número de URLs en el menor tiempo posible.
Ten en cuenta que el tiempo de rastreo de Google Bot (La raña de Google) o Bing bot (La araña de Bing) será limitado y puede que se quede corto cómo para visitar todas las URLs importantes de una página web.
Por este motivo, será importante guiar a los bots de los buscadores por las URLs más importantes de la página web para así optimizar el crawl budget de la misma.
¿Por qué será importante el crawl budget en SEO?
Cómo supondrás tras leer el anterior punto, optimizar el crawl budget será importantísimo en SEO, de hecho, es uno de los principales aspectos a mejorar en cualquier consultoría de SEO.
Ten en cuenta que, de no optimizarlo, puede que los bots no lleguen a rastrear URLs importantes de tu página web por motivos de negocio o SEO.
Es más, en caso de no estar optimizado para SEO el crawl budget de tu página web puede que las arañas no lleguen a leer el contenido de ciertas URLs importantes y pierdan su tiempo en paginaciones o URLs con contenido duplicado o thin content.
Por lo tanto, teniendo en cuenta que el tiempo de rastreo de una página web será limitado deberás optimizar al máximo este factor SEO para que las URLs más importantes de tu página web sean rastreadas si o sí.
PD. Si tu página web es pequeña (Menos de 200 URLS) las arañas de los buscadores podrán rastrear todas las URLs de tu página web. Sin embargo, si tu página web contase con más de 10.000 URLs deberás optimizar el crawl budget si o sí.
Ventajas de optimizar el crawl budget
Cómo verás, optimizar el crawl budget será importante ya que:
- Favorecerás el paso de los crawlers a través de tu página web mejorando así tu posicionamiento web SEO.
- Los bots o arañas serán capaces de llegar a las URLs más importantes de tu página web por motivos de negocio o SEO.
- Podrás priorizar de cara a los buscadores unas URLs de tu página web sobre otras.
- Mejorarás el enlazado interno de tu página web para que así las arañas sean capaces de llegar a todas las URLs importantes.
¿Cuándo será importante optimizar el presupuesto de rastreo?
Cómo has visto anteriormente, será importante optimizar el presupuesto de rastreo en páginas web grandes.
De hecho, preocuparse por este factor SEO en páginas web con menos de 500 URLs será una tontería.
Por este motivo, el presupuesto de rastreo será especialmente relevante en tiendas online, directorios o páginas web automáticas ya que sin un control del crawl budget de las mismas puede que las rañas se estén perdiendo información relevante de la página web.
Por lo tanto, si tu página web es un blog con menos de 500 URLs este factor no será primordial en tu estrategia SEO.
¿Cuál será mi crawl budget?
Si quieres saber cuál será tu crawl budget o presupuesto de rastreo deberás acudir a la herramienta SEO gratuita Google Search Console.
Una vez dentro de ella deberás acudir a la sección Ajustes y, posteriormente deberás pulsar sobre «ABRIR INFORME» dentro de las sección rastreo.
Una vez dentro te aparecerá una pantalla como esta:
En esta gráfica podrás comprobar el crawl budget o presupuesto de rastreo de tu página web mediante las siguientes métricas:
- Total de solicitudes de Rastreo. Cuanto mayor sea esta línea en el tiempo mayor presupuesto de rastreo tendrá tu página web y más URLs alcanzarán las arañas de Google y Bing.
- Tamaño total de la descarga. Cuanto menor sea el tamaño de los archivos descargados las arañas de los buscadores podrán llegar a más archivos y, de este modo, tu crawl budget estará más optimizado.
- Tiempo medio de respuesta. Cuanto menor sea el tiempo medio de respuesta menos tardarán las arañas en alcanzar los archivos y, por lo tanto, mejor será tu presupuesto de rastreo. En esta métrica influirá muy positivamente elegir un buen hosting.
Cómo optimizar y mejorar tu crawl budget o presupuesto de rastreo paso a paso [GUÍA]
Una vez hechas las presentaciones, ahora si que sí será el momento de enseñarte cómo optimizar y mejorar tu crawl budget o presupuesto de rastreo paso a paso.
¡Vamos con ello!
Paso 1. Elimina enlaces innecesarios
¿Conoces la teoría de los 100 enlaces?
Existe una teoría (Ni probada ni corroborada oficialmente por Google) en la cuál Google únicamente seguirá los primeros 100 enlaces detectados por URL.
Esto se traducirá en que en caso de existir más de 100 enlaces por URL Google bot solo seguirá los 100 primeros.
De ahí, la importancia de eliminar todos aquellos enlaces innecesarios por URL con el fin de «reducir» el ruido de cara a ojos de Google y hacer que solo existan aquellos enlaces importantes por URL.
PD1. Si en tu página web existe un mega menú con muchos enlaces lo mejor será intentar eliminarlos, reducirlos u ofuscarlos cómo te enseñaré más adelante.
PD2. Para conocer el número de enlaces por URL de una página web podrás utilizar la versión caché de Google por URL en su versión solo texto o la extensión de SEO para Google Chrome Link Grabber.
Paso 2. Ofusca enlaces
Si no conoces que es la ofuscación de enlaces haz click aquí.
De todos modos, a modo de resumen te diré que ofuscar un enlace será «ocultarlo» de cara a Google mediante código JavaScript para que dicho enlace no pueda ser seguido Google aunque el usuario siga viendo dicho enlace y pueda hacer click en el.
Para ofuscar los enlaces de tu página web necesitarás saber algo programación salvo que utilices algún tipo de gestor de contenidos cómo WordPress en el que podrás instalar el plugin de SEO para WordPress de Link Juice Optimizer de Fede Gómez.
De esta forma, podrás ocultar los enlaces menos importantes de tu página web de cara a Google sin perjudicar la experiencia de usuario de la misma.
PD. El plugin Link Juice Optimizer también te ayudará a guiar a los bots de Google y Bing por las URLs que necesites mejorando de esta forma tu interlinking SEO y tu crawl budget.
Paso 3. Detectar y eliminar páginas huérfanas
Una página huérfana será aquella URL que no cuente con ningún tipo enlace entrante ni interno ni externo.
De ahí, que este tipo de URLs reciban el nombre de páginas huérfanas ya que al no recibir ningún enlace ni interno ni externo Google no podrá acceder a ellas y descubrir su contenido.
Ten en cuenta que, para rastrear todo el contenido que existente en internet los bots de los buscadores han de seguir los enlaces (Internos o externos).
Por lo tanto, sin enlaces los buscadores no podrán descubrir nuevas URLs.
De ahí, que los enlaces sean tan importantes en internet y en el SEO.
Por lo tanto, asegúrate de que tu página web no tenga páginas huérfanas de forma involuntaria.
PD. Será muy difícil que una URL de tu página web se quede huérfana actualmente ya que, por regla general, si una URL fuese indexable esta se encontrará enlazada desde el sitemap de la página web.
Paso 4. Optimiza tu robots
Optimizando tu archivo robots.txt de tu página web conseguirás prohibir el acceso a determinadas URLs de tu página web que no sean relevantes o que no desees que sean indexadas.
De esta forma, podrás obligar a los bots de los buscadores a pasar únicamente por aquellas URLs que te interesen por motivos de negocio o de SEO.
Para este motivo, será importante conocer como crear un archivo robots personalizado para tu página web.
Paso 5. Utiliza las migas de pan en toda tu página web
Si no sabes lo que son las breadcrumbs o migas de pan pulsa aquí.
Si ya sabes que son ya sabrás que las migas de pan actuarán como un cable de corriente a lo largo de tu página web que conectará todas las URLs de tu página web de forma coherente y estructurada.
De esta forma, gracias a las breadcrumbs podrás traspasar autoridad interna de una URL a otra de tu página web de forma ordenada mejorando tu enlazado interno.
Es más, estas migas de pan serán el cable conductor perfecto para traspasar el Pagerank interno entre URLs de la misma página web y, optimizar así el link juice de la misma.
Paso 6. Reduce o delimita las paginaciones
Las paginaciones son máquinas de consumir recursos y tiempo de los bots.
Por este motivo, intenta prescindir en la medida de lo posible de ellas.
Además, ten en cuenta que las paginaciones no aportarán «contenido original» a Google y únicamente servirán cómo «archivadores de contenido» que no aportarán nada al usuario.
En resumen, si tu página cuenta con demasiadas paginaciones deberás:
- Reorganizar tus contenidos en un mayor número de categorías para reducir así las paginaciones de tu página web.
- Aumentar el número de artículos a mostrar por cada URL de la paginación.
- Eliminar contenidos URLs que apenas generen trafico orgánico en tu página web para quedarte únicamente con URLs que de verdad estén funcionando a nivel SEO.
Paso 7. Mejora tu velocidad de carga
Cómo has visto anteriormente, mejorar la velocidad de carga mejorarás tu crawl budget ya que mejorando tu WPO o velocidad web estarás:
- Reduciendo el peso de los archivos de tu página web.
- Mejorando tu servicio y entrega de archivos mediante un buen hosting.
- Comprimiendo los archivos para que pesen menos.
- Cacheando los archivos de tu página web para reducir el número de peticiones repetitivas a tu servidor.
- Etc.
Por lo tanto, si mejoras la velocidad de carga de tu página web mejorarás tu presupuesto de rastreo SEO.
Paso 8. Actualiza tus contenidos
Los buscadores pasarán más frecuentemente sus crawlers o arañas en aquellas páginas web que actualicen sus contenidos.
¿Lógico no?
Es decir, para que van a perder el tiempo los buscadores rastreando páginas web que apenas actualizan sus contenidos.
Será más lógico rastrear aquellas páginas web con contenido nuevo recurrente o actualizado ¿No?
Por este motivo, siempre que puedas genera nuevos contenidos o actualiza los existentes para generar el famoso efecto freshness tan beneficios para el SEO.
Paso 9. Elimina contenido innecesario
Cómo has visto anteriormente, la clave a la hora de optimizar el crawl budget de una página web será obligar a los buscadores a rastrear únicamente las URLs de valor.
Por este motivo, elimina en la medida de lo posible el contenido duplicado y el thin content de tu página web.
De esta forma, optimizarás tu presupuesto de rastreo y, seguramente, mejorarás la canibalización de palabras clave de tu página web.
Paso 10. Consigue más autoridad web
Si pese a todo lo anterior tu presupuesto de rastreo no es suficiente el último método para mejorar tu crawl budget de tu página será conseguir backlinks de calidad para tu página web.
De esta forma, tu página web gozará de mayor autoridad en internet y, será mejor «atendida» por los crawlers de los buscadores.
Ten en cuenta que, tanto Google cómo Bing tendrán más atención con aquellas páginas web más populares (Con más enlaces SEO) que con aquellas páginas web nuevas o sin apenas autoridad.
Conclusiones sobre el crawl budget
Como has podido ver a lo largo de este extenso post, optimizar el rastreo de una página web será fundamental para mejorar el crawl budget de tu página web.
Es más, gracias a esta optimización los crawlers de Google y Bing serán capaces de reconocer las URLs más importantes.
Por lo tanto, si tu página web es grande y cuenta con más de 1.000 URLs comienza a preocuparte por este factor SEO ya que te dará muchas alegrías.
Ahora te toca a ti querido lector ¿Habías oído hablar antes del crawl budget o presupuesto de rastreo? ¿Vas a optimizarlo en tu página web?
Cuéntamelo todo en los comentarios y nos vemos en dos semanas.
¡Hasta la próxima!
