Qué es el robots.txt

El robots.txt es un archivo de texto en la raíz del sitio que le dice a los buscadores por dónde pueden entrar y por dónde no. Siempre está en la misma dirección: tusitio.cl/robots.txt.

Se ve así:

User-agent: *
Disallow: /carrito/
Disallow: /buscar/

Sitemap: https://tusitio.cl/sitemap.xml

Controla el rastreo, no la indexación. Es la distinción que más confusión genera y la que provoca los errores más caros.

Lo que puede y lo que no puede hacer

Lo segundo importa: si bloqueas una página en robots.txt pero hay enlaces apuntando a ella, Google puede mostrarla igual en los resultados, sin descripción y con un texto que dice que no pudo leerla.

El error clásico

Dejar Disallow: / después de una migración. Esa línea bloquea el sitio completo, y es la versión más rápida de desaparecer de Google que existe.

El segundo error en frecuencia es bloquear las carpetas de CSS y JavaScript. Google necesita leerlas para entender cómo se ve la página; sin ellas la evalúa a ciegas y suele salir perjudicada en móvil.

Cómo sacar algo del buscador, entonces

Con noindex, dejando la página rastreable para que Google pueda leer esa instrucción. Bloquear en robots.txt una página que ya está indexada no la saca: la deja ahí sin que nadie pueda actualizarla.

Dónde se trabaja el robots.txt

El robots.txt se revisa en toda auditoría SEO y es de las primeras cosas que se miran en una migración, porque un error ahí no se nota hasta que el tráfico ya cayó.

Es de los primeros archivos que abrimos y de los que más sorpresas dan. Un bloqueo puesto hace años por alguien que ya no está es la causa más común de una sección entera invisible.