robots.txt y bots de IA: cuáles permitir y cuáles bloquear

Qué es robots.txt y qué no es#

Es un archivo de texto en la raíz de tu dominio (tusitio.com/robots.txt) donde indicas qué partes del sitio puede rastrear cada bot. Es una petición, no una cerradura: el estándar lo dice con todas sus letras, las reglas «no son una forma de autorización de acceso» (RFC 9309 (se abre en pestaña nueva)). Un bot bien portado la respeta; uno que no, la ignora.

Tampoco sirve para sacar una página de Google. La propia documentación de Google aclara que robots.txt «no es un mecanismo para mantener una página web fuera de Google» y recomienda noindex o una contraseña para eso (Google Search Central (se abre en pestaña nueva), 11 oct 2026). Una URL bloqueada puede aparecer igual en resultados si otros sitios la enlazan, solo que sin descripción.

Los bots de IA, por función#

Aquí está el cambio que más confunde: una empresa, varios bots. Esto dicen sus documentaciones oficiales, leídas el 11 oct 2026:

(OpenAI (se abre en pestaña nueva), Anthropic (se abre en pestaña nueva), Perplexity (se abre en pestaña nueva).)

La lectura práctica: entrenamiento (GPTBot, ClaudeBot) y búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) son decisiones separadas. Bloquear el primero no te saca de las respuestas; bloquear el segundo, sí.

Una nota sobre Google: su documentación dice que para aparecer en AI Overviews y en AI Mode no hay requisitos adicionales; basta con estar indexado y poder mostrar un fragmento, y no hacen falta archivos nuevos para IA ni marcado especial (Google (se abre en pestaña nueva), 11 oct 2026). Si publicas un llms.txt para otros sistemas, trátalo como un experimento, no como un requisito.

Tres configuraciones que puedes copiar#

Elige según lo que quieras, no según lo que haga el vecino.

A · Quiero salir en respuestas de búsqueda, pero no entrenar modelos con mi contenido

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

B · Quiero que todo me rastree (sin reglas especiales para IA): no añades nada. Sin un grupo para un bot, se aplican las reglas de User-agent: *.

C · No quiero ningún bot de IA: repites Disallow: / para cada uno de la tabla que obedezca el archivo. Ten claro el costo: sales de las respuestas de búsqueda de esas herramientas.

Cómo comprobar que quedó bien#

Errores que se repiten#

• Bloquear todo en producción. Un User-agent: * con Disallow: / que viajó desde un entorno de pruebas. Revisa el archivo en cada despliegue.
• Confundir entrenamiento con búsqueda. Bloquear GPTBot no te saca de la búsqueda de ChatGPT; para eso se usa OAI-SearchBot.
• Esperar que robots.txt gobierne todo. Los bots que actúan cuando una persona pide la página (ChatGPT-User, Perplexity-User) pueden no consultarlo.
• Usarlo como seguridad. Si algo es privado, protégelo con acceso real, no con una petición.

Sigue por aquí#

Para saber si, con tu configuración, una IA llega a citar tu sitio, mira cómo saber si una IA cita tu sitio. Todo esto forma parte de la categoría SEO técnico con IA.