Generador de robots.txt
Sitemaps
La dirección completa de tu mapa del sitio, una por línea si tienes varios. Es lo único del robots.txt que ayuda directamente a que te rastreen mejor.
Carpetas de WordPress
Es la única regla que trae WordPress de serie y la única que hace falta de verdad.
Estas dos las trae marcadas media Internet y hacen daño: Google necesita cargar el CSS y el JavaScript de tu tema y tus plugins para ver la página como la ve un visitante. Si se los bloqueas, la renderiza rota y te lo avisa en Search Console. Déjalas sin marcar salvo que sepas muy bien por qué.
Las URLs del buscador de tu web no aportan nada al rastreo y pueden generar páginas infinitas.
Solo si no los utilizas. Ojo: algunas integraciones y lectores dependen de ellos.
Rutas propias
Una por línea, empezando por barra. Por ejemplo /carrito/ o /mi-cuenta/.
Crawl-delay
Google no lo lee, y Bing y Yandex hace años que tampoco le hacen caso: cada uno gestiona la velocidad desde su propio panel. Solo tiene sentido si un rastreador menor te está tirando el servidor.
segundos entre peticiones
Herramientas de análisis de competencia y aspiradores de contenido. No aportan nada a tu posicionamiento, pero consumen servidor.
Si tú analizas tu propia página web con Ahrefs o Semrush, déjalo sin marcar: te bloquearías a ti mismo.
Otros rastreadores, uno por línea:
Si los bloqueas dejas de aparecer en las respuestas de ChatGPT, Perplexity y compañía, que hoy ya traen visitas. Y algunos no respetan el robots.txt de todas formas. Piénsalo antes de marcarlos todos.
Otros bots de IA, uno por línea:
Introduce tu email para desbloquearlo
Antes de subirlo
- Va en la raíz del dominio:
tudominio.com/robots.txt. En un subdirectorio no sirve de nada. - Si utilizas Yoast o Rank Math, pégalo desde su propio editor de robots.txt en lugar de subir el archivo por FTP: WordPress genera uno virtual y se pisan.
- Bloquear una URL aquí no la saca de Google: solo impide que la rastree. Para que desaparezca del índice se utiliza la etiqueta noindex, y para eso Google tiene que poder entrar a leerla.
- Compruébalo en Search Console con el informe de robots.txt antes de darlo por bueno.
Un robots.txt mal puesto puede borrarte de Google
He visto webs enteras fuera del buscador por un Disallow: / que se quedó de la fase de desarrollo. Si quieres que alguien revise el tuyo junto al resto del SEO técnico, me lo cuentas y lo vemos.
Descarga tu robots.txt
Déjame tu email y desbloqueo el archivo completo para copiarlo o descargarlo.
Introduce un email válido.
Al continuar aceptas la política de privacidad.
Listo, aquí tienes tu archivo
Ya puedes copiarlo o descargarlo y subirlo a la raíz de tu dominio.