Crawl budget

Se trata del número de páginas que un robot de búsqueda (spider o araña) visita en un sitio web durante un período de tiempo determinado. Por ejemplo, el número de páginas que Googlebot visita en tu sitio cada día o cada semana.

El término «crawl budget» se popularizó en el mundo SEO a raíz de un artículo de Matt Cutts en 2010 en el que hablaba sobre el tema. Sin embargo, este concepto no es nuevo y se viene utilizando desde hace años en el ámbito de la administración de sistemas, en el que se hace referencia al número de solicitudes de servicio (por ejemplo, de archivos) que un servidor puede atender en un período de tiempo determinado.

En el caso de Google, el crawl budget se establece en función de diversos factores, como la popularidad de un sitio, su historial de actualizaciones, la arquitectura del sitio o la calidad del contenido.

¿Por qué es importante el crawl budget en SEO?

Optimizar el crawl budget es importante para asegurar que los robots de búsqueda indexan las páginas más importantes de un sitio y, por tanto, para mejorar el posicionamiento en buscadores.

Cuanto mejor optimizado esté el crawl budget, más eficiente será el rastreo del sitio por parte de los robots y, por tanto, más rápido será el proceso de indexación de las nuevas páginas y de las actualizaciones de las ya existentes.

¿Por qué se suele dejar de lado la optimización del crawl budget?

Optimizar el crawl budget requiere un análisis detallado del sitio y, en muchas ocasiones, una reestructuración de la misma. Esto supone un trabajo extra que muchos propietarios de sitios web no están dispuestos a hacer o no saben cómo hacerlo.

En ocasiones, también se puede dejar de lado la optimización del crawl budget porque no se tiene en cuenta su importancia o, simplemente, porque no se conoce su existencia.

Consejos para optimizar el crawl budget de tu web

Permite el rastreo de tus páginas importantes por robots.txt.

Uno de los principales errores que se cometen al optimizar el crawl budget es bloquear el acceso a las páginas más importantes del sitio mediante el archivo robots.txt.

Esto puede ocurrir porque el propietario del sitio no quiere que los robots indexen ciertas páginas, porque no quiere que se muestren en los resultados de búsqueda o porque no quiere que se rastreen ciertos archivos (por ejemplo, las imágenes).

Sea cual sea el motivo, lo cierto es que si se bloquea el acceso a las páginas importantes del sitio, se está haciendo un flaco favor a la optimización del crawl budget.

Atención con las redirecciones

Otro error muy común que se suele cometer al optimizar el crawl budget es el uso excesivo de redirecciones.

Páginas huérfanas

Las redirecciones son útiles para enviar a los usuarios y a los robots de búsqueda a la página correcta, pero si se usan de forma incorrecta o en exceso, pueden ralentizar el rastreo del sitio y, por tanto, afectar negativamente al crawl budget.

La velocidad del sitio (WPO)

La velocidad de carga de un sitio web es un factor muy importante a tener en cuenta a la hora de optimizar el crawl budget.

Los sitios web que tardan mucho en cargar son penalizados por Google y, por tanto, suelen tener un crawl budget más bajo.

Por esta razón, es importante que la velocidad de carga de un sitio sea lo más rápida posible. Si no se cuenta con los conocimientos técnicos necesarios para optimizar la velocidad de carga de un sitio, lo mejor es contratar los servicios de un especialista en el tema.