Es una decisión de negocio disfrazada de decisión técnica. Y hay muchas webs que la han tomado sin darse cuenta, copiando un robots.txt de otro sitio.
Qué ganas permitiendo el rastreo
- Posibilidad de ser citado y recomendado en respuestas generativas.
- Visibilidad en consultas de descubrimiento donde antes competías en el buscador.
- Tráfico de marca: el usuario ve tu nombre, luego te busca directamente.
Qué ganas bloqueando
- Control sobre contenido premium, cursos o bases de datos propias.
- Evitas que tu contenido se resuma sin visita cuando tu modelo depende de la publicidad por página vista.
- Argumento negociador si en el futuro licencias contenido.
La decisión, según tu modelo
- SaaS, servicios profesionales, B2B, ecommerce: casi siempre conviene permitir. Tu contenido es un catálogo, no el producto.
- Medios que viven de la publicidad: caso mixto. Muchos permiten el rastreo de asistentes con búsqueda (que enlazan) y bloquean el de entrenamiento.
- Cursos, informes de pago, bases de datos: bloquea la zona privada siempre y valora bloquear los previews largos.
Cómo se configura, en la práctica
En robots.txt se distingue por agente. Conviene separar dos usos: los bots de entrenamiento y los bots de búsqueda en tiempo real que sí enlazan a tu web. Puedes permitir el segundo y bloquear el primero. Añade reglas explícitas para tus rutas privadas y de aplicación, y deja abierto el contenido público que quieres que se cite.
Comprueba después que el archivo carga correctamente y que no has bloqueado por error a los buscadores tradicionales: es el fallo más caro y el más común.
Lo que no funciona
- Bloquear todo "por precaución" y esperar seguir apareciendo en respuestas: son cosas incompatibles.
- Bloquear en robots.txt y publicar un llms.txt: es contradictorio.
- Cambiar la política cada mes: pierdes cualquier posibilidad de medir el efecto.
Cómo comprobar el impacto
Sea cual sea tu decisión, mide. Registra tu tasa de mención en un conjunto fijo de preguntas antes del cambio y cuatro y ocho semanas después. Es la única forma de saber si has protegido algo valioso o te has apagado a ti mismo.