Robots.txt comunica reglas de acceso a los rastreadores que lo respetan. Al revisar una web para buscadores e IA, conviene distinguir tres decisiones: permitir una visita automática, permitir indexación y establecer una política sobre uso para entrenamiento. No son equivalentes.
Qué hace robots.txt y qué no hace
Google explica que este archivo regula qué URLs puede rastrear. Una URL bloqueada puede seguir apareciendo si se descubre mediante enlaces. Por ello, robots.txt no sustituye una instrucción de indexación ni una protección mediante autenticación.
El archivo es público. No debe utilizarse como una caja fuerte para ocultar documentos o rutas sensibles. Si una información requiere acceso privado, la protección debe aplicarse en el sistema que la entrega.
Búsqueda y entrenamiento en OpenAI
OpenAI documenta OAI-SearchBot para búsqueda y GPTBot para contenido que puede utilizarse en entrenamiento. Sus reglas son independientes: se puede permitir el primero y excluir el segundo. ChatGPT-User identifica determinadas visitas iniciadas por usuarios y tiene otro papel.
Esta distinción evita tratar todos los accesos relacionados con IA como si fueran el mismo proceso. Antes de bloquear una categoría completa en una herramienta de seguridad, identifica qué propósito quieres permitir o excluir.
Un ejemplo parcial de política
El siguiente fragmento ilustra permitir el rastreador de búsqueda de OpenAI y excluir su rastreador de entrenamiento. No describe por sí solo la política completa de un sitio:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Antes de integrarlo, revisa las reglas existentes y el objetivo de cada entorno. La decisión de una empresa debe quedar documentada; copiar un ejemplo no demuestra que el acceso real funcione.
Comprueba la infraestructura, no solo el archivo
Como método de diagnóstico, contrasta las reglas con respuestas del servidor y registros disponibles. Puede haber bloqueos en una CDN, un firewall o una capa de protección que no aparecen en robots.txt. Un acceso permitido en el texto puede terminar en un desafío que el rastreador no resuelve.
OpenAI publica rangos de IP para sus agentes. Al verificar peticiones, utiliza la documentación del proveedor y no tomes únicamente el nombre del agente como prueba de identidad.
Qué comprobar después de una modificación
- Que se está revisando el dominio y entorno correctos.
- Que el archivo publicado corresponde a la política aprobada.
- Que las páginas públicas necesarias entregan la respuesta esperada.
- Que no se han abierto áreas que deben seguir privadas.
- Que existe una copia de la configuración anterior y un registro del cambio.
Permitir rastreo no asegura que un proveedor seleccione o cite tu contenido. Es una condición de acceso que debe revisarse junto con la información que ofrece la página.
Cuándo pedir una revisión técnica
Si se han añadido reglas sin registro o aparecen bloqueos difíciles de explicar, conviene investigar antes de ampliar permisos. Puedes consultar el servicio de auditoría web, SEO y AEO.