Si no eres un profesional del posicionamiento SEO es probable que nunca hayas oído hablar del crawl budget. Es un aspecto realmente relevante que Google maneja y que tú también deberías, y sin embargo es muy poco conocido.
Existe poca documentación sobre este término y su influencia dentro de las estrategias de posicionamiento online, cuando realmente es esencial para poder “comunicarnos” con el Googlebot de manera adecuada.
En este post vamos a ver qué son exactamente el rastreo y el crawl budget, y en qué se diferencia de la indexación, y cuáles son sus características principales.
Rastreo e indexación: Definiciones
Existen tres términos muy relacionados que la gente suele confundir o que, al menos, no tiene clara dónde está la línea que separa a cada uno. Estos son los términos: indexación, rastreo y crawl budget.
Entender cada uno de ellos es entender un poco mejor cómo funciona Google y sus sistemas para mostrar resultados. Por lo tanto, es sinónimo de avanzar en tu dominio sobre el posicionamiento SEO.
Indexación
Sobre la indexación de sitios web en Google puedes encontrar mucha información online, y seguramente ya tengas una idea sobre este término. Hace referencia a las páginas que Google incluye en su catálogo de posibles respuestas para cada búsqueda.
El contenido que Google cataloga de tu sitio web no es aleatorio. Tú puedes decidir qué se indexa y qué no, tomando decisiones estratégicas y lógicas para alcanzar tus resultados.
Rastreo y crawl budget
Aunque la indexación y el rastreo se suelen confundir, en realidad son dos conceptos diferentes. El rastreo es el trabajo que hace el robot de Google para analizar lo que hay en cada sitio web.
Es el paso previo a la indexación. Y como pasa con esta, puedes decidir qué puede rastrear o no el robot. ¿Por qué querrías que el Googlebot no rastree parte de tu web? Por el crawl budget.
Google no tiene recursos infinitos para rastrear todo lo que hay Internet, a pesar de lo que nos pueda parecer. Por eso tiene una cuota de rastreo o crawl budget. Es decir, un tiempo delimitado para rastrear cada sitio web.
Si tu presupuesto de rastreo es de 50 urls al día, por ejemplo, o del tiempo estimado para ello, eso es el máximo que Google va a rastrear al día de tu página web. Y conseguir que eso mejore está en tu mano.
Cómo se determina el crawl budget
El tiempo que Google determina para el rastreo de cada sitio web es diferente, no es una medida estándar que se aplica de igual manera a todos. No tendría sentido, ya que no puede ser lo mismo rastrear una página web como la de Amazon que rastrear la de un negocio local que solo incluye 3 o 4 páginas.
Para decidir el tiempo que va a pasar dentro de tu sitio rastreando los contenidos Google tiene en cuenta aspectos como:
- Autoridad: La autoridad de dominio de tu sitio, y de cada página, son importantes para Google. Una autoridad alta es sinónimo de pasar más tiempo rastreando tu web.
- Accesibilidad: Google premia a aquellos que tienen webs accesibles, y uno de esos “premios” es un crawl budget mejor.
- Calidad: Por supuesto, la calidad de los contenidos que ofreces dentro de tu web es muy determinante.
- Velocidad: Ya hemos hablado más veces de la WPO y de su importancia actual para el posicionamiento. Cuanto mejor esté optimizada tu velocidad de carga, más posibilidades hay de mejorar tu crawl budget.
Optimización de tu crawl budget
Si quieres conseguir que el Googlebot le dedique más tiempo al rastreo de tu página web debes optimizar los cuatro elementos que hemos visto en el punto anterior. Son indispensables para que Google mejore esa tasa que te asigna. Pero no es lo único que puedes hacer.
En las definiciones de indexación y rastreo hemos hablado de la posibilidad de delimitar qué es lo que Google indexa y qué es lo que Google rastrea. Y jugar con estos aspectos te va a ayudar mucho a mejorar tu cuota de rastreo.
Evita el thin content
El primer paso que deberías dar en este sentido se centra en eliminar el rastreo del thin content o contenido sin valor de tu página web.
Comienza por definir qué contenido no es necesario que aparezca en Google. Por ejemplo, los avisos legales y las políticas de privacidad, las páginas de categoría o etiquetas, variables de productos en un eCommerce, urls canonicals…
Son páginas dentro de tu web que deben permanecer en ella para el correcto funcionamiento de todo, pero que no tienen interés para el posicionamiento en Google. Nadie mejor que tú conoce tu web, por lo que debes determinar este thin content en base a tus necesidades e intereses.
Desindexa el contenido duplicado
Tanto en un eCommerce como en un blog de una estrategia de marketing de contenidos o en otros proyectos online no es interesante el contenido duplicado. Google lo penaliza, tanto si está duplicado dentro de tu sitio como si está duplicado de otra web externa.
Si, por el motivo que sea, tienes contenido duplicado en tu sitio web es importante que lo detectes y lo elimines del rastreo y de la indexación en Google.
Determina los contenidos sin valor
No siempre hay que centrarse en el thin content estrictamente como contenido basura, también hay que determinar qué contenidos sin valor debes eliminar del rastreo para mejorar tu crawl budget.
Sí, aunque dediques mucho tiempo a tus contenidos es posible que algunos debas obviarlos. En toda web hay contenidos que gustan mucho y atraen tráfico constante y otros que, por el motivo que sea, caen en el olvido y a penas llaman la atención de los usuarios.
Analiza tu web y busca cuáles son esos contenidos sin valor para los usuarios. Determina si puedes hacer algo con ellos para darles una segunda oportunidad y, si no es así, elimínalos del rastreo de tu web. Así el robot tendrá menos trabajo que hacer.
Ayuda a Google para que él te ayude
La clave para optimizar tu crawl budget es que pienses en el robot de Google y en cómo ayudarle para que su trabajo sea más fácil. Si tu haces este esfuerzo, Google te recompensará.
Si tu sitio web es pequeño y fácilmente manejable podrás hacerlo de manera manual, pero no siempre es así. Cuando hablamos de sitios con miles de urls se complica el poder conocer cada aspecto de la web.
Para estos casos, mi recomendación es que lo analices de manera global. Revisa los logs del servidor y busca qué urls son las que más visita el Googlebot por las búsquedas realizadas. Analiza si es lo que realmente quieres que los usuarios lean sobre tu marca y si es así, elimina del rastreo todo aquello que carezca de interés para Google y para los usuarios.
Lo esencial a la hora de optimizar tu crawl budget es que pienses qué puedes aportar a los usuarios, por qué y qué es lo que está de más dentro de tu sitio web. Y hazle saber todo esto a Google para que el rastreo y la indexación sean más fáciles.
Espero haberte ayudado con este contenido.
Si tienes alguna duda escríbeme en los comentarios.
Espero verte de nuevo por aquí.
¡Un abrazo!
About the Author: Daniel Bocardo
