El robots.txt es el archivo que controla qué crawlers pueden rastrear tu sitio, y en 2026 eso incluye a los crawlers de inteligencia artificial. Si quieres aparecer en ChatGPT, Perplexity, Gemini o Claude, tienes que permitir explícitamente a sus rastreadores — un detalle técnico que muchos sitios pasan por alto.
Por qué importa para el LLMO
Cada motor de IA tiene su propio crawler. Si lo bloqueas, ese motor no puede indexar tu contenido y, por tanto, no puede citarte:
- GPTBot → ChatGPT Search
- PerplexityBot → Perplexity
- Google-Extended → Gemini y AI Overviews
- ClaudeBot / anthropic-ai → Claude
El error más común es heredar un Disallow: / para bots de IA — a veces puesto por defecto por un plugin o una configuración antigua — que te deja invisible sin que lo sepas.
Configuración recomendada para LLMO
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: /
Permitir selectivamente
Google-Extended es independiente de Googlebot: puedes seguir indexándote en el buscador de Google (Googlebot) y decidir por separado si permites que Google entrene Gemini con tu contenido (Google-Extended). Esa separación te da control fino sobre tu estrategia.
Cómo verificar
Visita https://tudominio.com/robots.txt y confirma que ninguno de los crawlers de IA tiene Disallow: /. Luego comprueba en ChatGPT o Perplexity si ya te reconocen.
Relacionados: