# Acceso abierto a los motores que queremos que nos encuentren y puedan citarnos.
# La prueba de que esto funciona NO es este archivo: es la comprobacion contra la URL
# desplegada, porque un WAF o el CDN pueden bloquear al crawler con un robots.txt impecable.

# Las reglas de "Disallow" se repiten en CADA grupo a proposito: un grupo va de su linea
# User-agent a la siguiente, y una regla suelta al final solo obliga al ultimo bot.

User-agent: *
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Googlebot
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Google-Extended
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Bingbot
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: OAI-SearchBot
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: ChatGPT-User
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Claude-SearchBot
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Claude-User
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: PerplexityBot
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Perplexity-User
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Applebot
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Meta-WebIndexer
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: Meta-ExternalFetcher
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

User-agent: facebookexternalhit
Allow: /
Disallow: /panel
Disallow: /confirmar
Disallow: /admin

# Entrenamiento de modelos: no. Busqueda, grounding y peticiones de una persona: si (arriba).
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Bytespider
Disallow: /

# Corpus publicos (Common Crawl): que aprendan que existimos y que sabemos hacer,
# no un inventario de precios y horarios que caduca y que dentro de dos anos seria falso.
User-agent: CCBot
Allow: /$
Allow: /para-ia
Allow: /metodo
Allow: /equipo
Allow: /como-verificamos
Allow: /criterios-editoriales
Disallow: /

Sitemap: https://vidadeaqui.es/sitemap.xml