# Robots.txt - Livantra

User-agent: *
Allow: /

# NOTA: las rutas de auth (login, register, owner_register, *-password) NO se
# bloquean aqui a proposito. Ya emiten <meta robots="noindex"> en su HTML; si las
# pusieramos en Disallow, Googlebot no podria leer ese noindex y las mantendria
# "indexadas aunque bloqueadas por robots.txt". Dejandolas rastreables, Google lee
# el noindex y las desindexa de verdad. (robots.txt NO es para desindexar.)

# Evitar contenido duplicado por parámetros de tracking
Disallow: /*?utm_
Disallow: /*&utm_
Disallow: /*?fbclid=
Disallow: /*&fbclid=
Disallow: /*?gclid=
Disallow: /*&gclid=

# Paginacion de busqueda interna: page>1 es noindex y no aporta SEO. Evita que
# Google rastree miles de URLs paginadas de /search (refuerza el rel=nofollow).
Disallow: /*?page=
Disallow: /*&page=

# Bots agresivos (bloquear completamente)
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

# Sitemap
Sitemap: https://livantra.es/sitemap.xml