# robots.txt — saboresarabes.com (sanitizado 2026-04-27)
# F-08: ya no enumeramos rutas privadas planificadas (login, profile,
# saved-recipes, etc.) porque eso solo sirve de mapa al atacante.
# El bloqueo real de esas rutas vive en .htaccess + RLS de Supabase.

User-agent: *
Allow: /
Disallow: /admin/

# IA: se distingue entre entrenar y citar (2026-09-24).
#
# El aviso legal prohibe "utilizar el contenido para generar bases de datos,
# entrenar modelos comerciales o prestar servicios derivados sin consentimiento
# expreso", pero SI permite "la cita parcial del contenido con fines
# informativos siempre que se mencione la fuente y se enlace al articulo
# original". robots.txt refleja exactamente esa distincion:
#
#   - BLOQUEADOS los rastreadores cuyo proposito es entrenar modelos.
#   - PERMITIDOS los que responden a un usuario citando y enlazando la fuente,
#     que es trafico de vuelta y esta amparado por el aviso legal.
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: omgilibot
Disallow: /

# FacebookBot permitido (2026-09-21): bloquearlo solo rompia las
# previsualizaciones de los enlaces compartidos en Facebook.

# --- Asistentes de IA que citan y enlazan: permitidos ---
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://saboresarabes.com/sitemap.xml
Sitemap: https://saboresarabes.com/sitemap_pages.xml
Sitemap: https://saboresarabes.com/sitemap_recetas.xml