Qué es el presupuesto de rastreo o crawl budget

El presupuesto de rastreo, o crawl budget, es la cantidad de páginas que Google está dispuesto a leer de un sitio en un período dado. No es infinito y se reparte entre todas las URLs que encuentra.

Solo es un problema real en sitios grandes. Si tienes doscientas páginas, Google las lee todas y esto no te afecta; si tienes cien mil, decide cuáles vale la pena leer.

De qué depende

El síntoma típico

Páginas nuevas que tardan semanas en aparecer, o productos que se publican y no entran al índice, mientras Search Console muestra miles de URLs "rastreadas pero no indexadas" que son combinaciones de filtros.

Ahí el problema no es el contenido nuevo: es que Google está gastando su tiempo en basura.

Cómo se recupera

• Bloquear en robots.txt lo que no debe rastrearse nunca, como el buscador interno.
• Marcar con noindex las combinaciones de filtros que no aportan.
• Limpiar cadenas de redirecciones y errores.
• Mejorar el enlace interno hacia lo que sí importa.

Para ver en qué se está gastando de verdad hace falta el análisis de logs, que es la única fuente que lo muestra petición por petición.

Dónde se trabaja el presupuesto de rastreo o crawl budget

Es un trabajo de SEO técnico puro y aparece sobre todo en SEO para ecommerce, donde ordenar las facetas suele desbloquear la indexación de todo lo demás.

Solo lo trabajamos en catálogos grandes. En un sitio chico es una preocupación prestada: Google lo recorre entero sin problema y el tiempo rinde más en otra parte.