El robots.txt controla qué crawlers pueden rastrear tu sitio, y los de inteligencia artificial son varios con funciones distintas. La regla que más confunde es esta: aparecer en una respuesta de IA y permitir que entrenen modelos con tu contenido son dos decisiones separadas, y cada empresa usa rastreadores distintos para cada una. Esto es lo que dice la documentación oficial de cada una y cómo lo configuro yo en mi sitio, como parte de mi trabajo de posicionamiento en IA.

Qué hace cada crawler

CrawlerEmpresaPara qué sirveSi lo bloqueas
OAI-SearchBotOpenAIMostrar tu sitio en las respuestas de búsqueda de ChatGPTTu sitio no se muestra en esas respuestas
GPTBotOpenAIRastrear contenido que puede usarse para entrenar modelosTu contenido no se usa para entrenamiento; no afecta a la búsqueda
ChatGPT-UserOpenAIVisitas que inicia un usuario dentro de ChatGPTComo la acción la inicia el usuario, robots.txt puede no aplicarse
PerplexityBotPerplexityMostrar y enlazar tu sitio en los resultados de PerplexityNo apareces en esos resultados
Perplexity-UserPerplexityVisitas que pide un usuarioGeneralmente ignora robots.txt
ClaudeBotAnthropicRecopilar contenido que puede contribuir al entrenamientoTu contenido futuro queda fuera del entrenamiento
Claude-SearchBotAnthropicMejorar la calidad de los resultados de búsquedaPuede reducir tu visibilidad en esos resultados
Claude-UserAnthropicVisitas cuando un usuario pregunta a ClaudeNo podrá recuperar tu contenido para responder
Google-ExtendedGoogleEntrenamiento y fundamentación de GeminiNo afecta a tu inclusión en la Búsqueda de Google

anthropic-ai no figura en la página de Anthropic que revisé, así que no lo trato como un rastreador documentado. Y sobre las funciones de IA de la propia Búsqueda de Google, la documentación indica que no tienen requisitos adicionales: para aparecer, la página debe estar indexada y cumplir los requisitos normales de la Búsqueda. Google-Extended no es el interruptor de las vistas creadas con IA; lo que controla ese contenido son las reglas de siempre (nosnippet, max-snippet, noindex).

Dos decisiones, no una

  1. ¿Quiero que me citen? Eso depende de los rastreadores de búsqueda: OAI-SearchBot, PerplexityBot y Claude-SearchBot.
  2. ¿Quiero que entrenen con mi contenido? Eso depende de GPTBot, ClaudeBot y Google-Extended.

Mi sitio permite ambas: busco visibilidad, y mi robots.txt lo declara con Content-Signal: search=yes, ai-train=yes, ai-input=yes. Es una decisión de negocio, no técnica. Si tu contenido es tu producto, como cursos de pago o un medio, puede convenirte aparecer sin ceder el entrenamiento:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Qué pasa con los bots que no nombras

Cada rastreador sigue un solo grupo de reglas: el más específico que lo nombre. Si no hay un grupo con su nombre, se aplica User-agent: *. Por eso escribir un Allow: / para cada bot no es necesario si tu regla general ya permite el acceso. El error real es otro: un Disallow heredado.

Errores frecuentes

  • Un Disallow: / heredado de un plugin, de la plataforma de hosting o de una configuración antigua, que deja bots de IA fuera sin que te enteres.
  • Bloqueos fuera de robots.txt. Google recomienda permitir el rastreo también en tu CDN y en tu infraestructura de alojamiento, y Perplexity recomienda aceptar las IP publicadas de PerplexityBot en el firewall.
  • Creer que bloquear GPTBot te saca de ChatGPT. No lo hace: la búsqueda depende de OAI-SearchBot.
  • Creer que robots.txt oculta una página. Google puede indexar una URL bloqueada y mostrarla sin fragmento. Para bloquear la indexación, usa noindex.

Cómo verificar

Abre https://tudominio.com/robots.txt y confirma que ninguno de los bots que quieres permitir tiene un Disallow: /. Los cambios pueden tardar hasta unas 24 horas en reflejarse, según OpenAI y Perplexity. Después comprueba en ChatGPT o Perplexity si te mencionan, sabiendo que una respuesta aislada no es una medición.

Relacionados:

Fuentes