#5 Optimización del crawl budget con logs – Logs en SEO

Descubre cómo los logs te ayudan a optimizar el crawl budget, priorizando las URLs clave y evitando desperdicio de recursos de rastreo.

Contenido de la lección

1. Recordatorio Rápido: ¿Qué es el Presupuesto de Rastreo?
   • Volvamos a nuestra analogía: el Crawl Budget es el dinero y el tiempo que Google asigna para visitar las «tiendas» de tu centro comercial (tu sitio web). Si tienes una web grande, ese presupuesto es limitado.
   • El problema: Si dejas que Google gaste todo su dinero visitando los almacenes desordenados y los pasillos de servicio (URLs sin valor), no le quedará tiempo ni presupuesto para visitar tus escaparates principales (tus páginas de negocio).
2. Diagnóstico: Identificando a los «Ladrones» de tu Crawl Budget
   • Ahora nos ponemos el gorro de detective 🕵️. Con nuestro proyecto de Screaming Frog Log File Analyser, vamos a cazar a los culpables que malgastan los recursos de Google.
   • Ladrón #1: URLs con Parámetros y Filtros.
     • El delito: URLs de búsquedas, filtros de tallas, colores, precios (?color=rojo, &ordenar=precio_desc) que crean miles de URLs duplicadas o de escaso valor que Google rastrea sin parar.
     • La prueba: En la pestaña URLs, buscaremos estos patrones y los ordenaremos por «Total Hits» para ver cuáles son los que Google visita con más frecuencia.
   • Ladrón #2: Contenido de Bajo Valor o Duplicado.
     • El delito: Paginaciones (/page/48/), archivos de autor con un solo post, versiones para imprimir, feeds RSS, etc.
     • La prueba: De nuevo en URLs, buscaremos estos patrones para evaluar si Google les está prestando demasiada atención.
   • Ladrón #3: Errores y Redirecciones en Bucle.
     • El delito: Google sigue visitando URLs que devuelven errores 404 o que entran en cadenas de redirecciones (A→B→C), perdiendo tiempo en cada salto.
     • La prueba: Filtraremos la pestaña Status Codes para encontrar los errores 4xx y las redirecciones 3xx más rastreadas.
3. El Plan de Acción: Cómo Poner a Dieta tu Web
   • Una vez identificados los ladrones, aplicaremos la solución correcta para cada uno.
   • Para Parámetros y Filtros → robots.txt: Te enseñaré a usar la directiva Disallow: en tu archivo robots.txt para decirle a Google: «No entres en estos pasillos, no hay nada para ti».
   • Para Contenido de Bajo Valor → Meta Etiqueta noindex: Le diremos a Google que visite esa página una última vez, pero que no la incluya en su índice. Es como ponerle un cartel de «No molestar».

Para Errores 404 persistentes → Redirección 301: Si la URL rota recibe enlaces o sigue siendo rastreada, crearemos una redirección permanente a una página relevante para no perder esa autoridad.

Objetivo de la lección

El objetivo es que aprendas a realizar una auditoría completa del crawl budget y a crear un plan de acción para optimizarlo. Al finalizar, serás capaz de identificar qué tipos de URLs están malgastando los recursos de Google en tu web y sabrás exactamente qué directivas (robots.txt, noindex, 301) aplicar para guiar a Googlebot hacia el contenido que realmente importa.

Recursos

• Guía oficial de Google sobre robots.txt: Para convertirte en un experto bloqueando rastreadores.
  • Introducción al archivo robots.txt
    
• El gran debate (noindex vs robots.txt): Un recurso clave para entender cuándo usar cada directiva.
  • Robots.txt vs. Meta Robots vs. X-Robots-Tag: a SEO Guide by Moz
    
• Documentación sobre la consolidación de URLs duplicadas:
  • Cómo elegir una URL canónica