Robots txt en WordPress mal configurado cómo arreglar

Que es robots.txt en WordPress y por que es clave para el SEO

El archivo robots.txt es un fichero de texto ubicado en la raiz de tu dominio que indica a los robots de los motores de busqueda (como Googlebot, Bingbot y otros) que partes de tu sitio web pueden rastrear y cuales deben evitar. En un sitio WordPress, este archivo es especialmente importante porque la plataforma genera muchas URLs internas, paginas de archivo, etiquetas, feeds y recursos tecnicos que, si se gestionan mal, pueden afectar negativamente al SEO y al rendimiento del rastreo.

Cuando el robots.txt esta mal configurado en WordPress, puedes bloquear sin querer paginas importantes, como entradas del blog, paginas de servicios o incluso todo el sitio. Esto provoca caidas bruscas de trafico organico, problemas de indexacion y perdida de visibilidad en buscadores. Por eso, entender que hace este archivo y como corregirlo es fundamental para cualquier administrador de un sitio WordPress.

Como funciona robots.txt y su relacion con WordPress

Cuando un robot de un motor de busqueda visita tu sitio, lo primero que suele hacer es solicitar la URL https://tudominio.com/robots.txt. Ahi encuentra un conjunto de reglas formadas por directivas como User-agent, Disallow, Allow y, opcionalmente, la ruta del Sitemap. Estas reglas le indican que directorios o URLs puede rastrear y cuales debe evitar. Aunque los robots pueden ignorar el archivo, los principales buscadores lo respetan de forma general.

En WordPress, el sistema genera por defecto un robots.txt virtual si no existe uno fisico en la raiz del servidor. Muchos usuarios ni siquiera saben que existe, porque no lo ven en el gestor de archivos. Ademas, algunos plugins SEO (como Yoast SEO, Rank Math o All in One SEO) permiten modificar este archivo desde el panel de administracion, lo que facilita su gestion pero tambien aumenta el riesgo de cometer errores graves con un par de clics.

• Robots.txt virtual de WordPress: se genera dinamicamente si no hay archivo fisico. Suele ser basico y, en muchos casos, suficiente para sitios sencillos.
• Robots.txt fisico: un archivo real en la raiz del dominio (/public_html/robots.txt o similar) que tiene prioridad sobre el virtual.
• Plugins SEO: permiten editar el robots.txt sin tocar el servidor, pero pueden sobreescribir o crear reglas conflictivas.

Senales claras de que tu robots.txt en WordPress esta mal configurado

Un robots.txt mal configurado rara vez avisa de forma directa. Normalmente lo descubres cuando ya hay problemas de trafico o indexacion. Identificar las senales tempranas te permite reaccionar antes de que el dano sea mayor. A continuacion se describen los sintomas mas habituales que indican que tu archivo robots.txt en WordPress puede estar bloqueando contenido importante o generando conflictos con los motores de busqueda.

• Caida repentina de trafico organico: si ves en Google Analytics o en Search Console una bajada brusca de visitas desde buscadores, revisa tu robots.txt.
• Paginas importantes sin indexar: servicios, productos o articulos clave que no aparecen en Google ni usando site:tudominio.com.
• Avisos en Google Search Console: mensajes del tipo “Se ha bloqueado una URL por el archivo robots.txt” en paginas que deberian ser accesibles.
• Imposibilidad de rastreo en herramientas SEO: crawlers como Screaming Frog, Sitebulb o Ahrefs no pueden acceder a gran parte del sitio.
• Bloqueo de recursos esenciales: CSS, JS o imagenes bloqueadas que impiden a Google renderizar correctamente tus paginas.

Errores criticos de robots.txt que destruyen tu SEO

Algunos errores en el archivo robots.txt son simples ineficiencias, pero otros pueden destruir literalmente tu SEO en cuestion de dias. Estos fallos suelen aparecer al copiar y pegar configuraciones de otros sitios, al usar plugins sin comprender sus efectos o al intentar “optimizar el crawl budget” sin la experiencia necesaria. A continuacion se detallan los errores mas peligrosos que debes evitar a toda costa en tu WordPress.

• Bloquear todo el sitio con Disallow: /: esta directiva impide que los robots rastreen cualquier URL de tu dominio. Es util solo en entornos de desarrollo o sitios privados, pero devastadora en un sitio en produccion.
• Bloquear el directorio raiz sin excepciones: reglas como Disallow: /wp- mal escritas pueden afectar a rutas legitimas, segun la estructura de tu sitio.
• Impedir el acceso a CSS y JS: directivas que bloquean /wp-includes/ o /wp-content/ sin matices pueden evitar que Google cargue los estilos y scripts necesarios para ver tu sitio como un usuario real.
• Bloquear el sitemap XML: impedir el acceso a /sitemap.xml o a los sitemaps generados por plugins SEO dificulta que Google descubra tus URLs.
• Duplicar o contradecir reglas: tener varias secciones para el mismo User-agent con directivas contradictorias genera resultados impredecibles.
• Usar comodines sin entender su efecto: patrones como Disallow: /*? o Disallow: /*.php$ pueden bloquear mas de lo que imaginas.

Como revisar tu robots.txt en WordPress paso a paso

Antes de arreglar un robots.txt mal configurado en WordPress, necesitas saber exactamente que contiene y como lo estan interpretando los motores de busqueda. Este proceso de auditoria es relativamente sencillo, pero conviene seguirlo de forma ordenada para no pasar por alto ningun detalle critico.

• 1. Accede a /robots.txt desde el navegador: escribe en tu navegador https://tudominio.com/robots.txt. Copia el contenido en un editor de texto para revisarlo con calma.
• 2. Comprueba si es virtual o fisico: entra en tu hosting (FTP, cPanel, Plesk) y verifica si existe un archivo robots.txt en la raiz. Si no esta, probablemente WordPress lo genera de forma virtual o un plugin lo esta gestionando.
• 3. Identifica el origen de la configuracion: revisa tus plugins SEO (Yoast, Rank Math, etc.) para ver si tienen una seccion especifica de robots.txt. Si la tienen, es probable que esten sobreescribiendo la configuracion.
• 4. Detecta directivas peligrosas: busca lineas como Disallow: /, bloqueos de /wp-content/, /wp-includes/ o rutas que contengan “sitemap”.
• 5. Revisa la seccion de Sitemap: comprueba que la linea Sitemap: apunta a la URL correcta generada por tu plugin SEO o por WordPress.
• 6. Valida con herramientas externas: usa el probador de robots.txt de Google Search Console (si esta disponible) o herramientas de terceros para simular el rastreo.

Como arreglar robots.txt en WordPress de forma manual

Si has detectado que tu robots.txt esta mal configurado, puedes corregirlo manualmente creando o editando el archivo fisico en la raiz de tu sitio WordPress. Este enfoque te da un control total y evita conflictos con configuraciones virtuales, aunque requiere acceso al servidor y cierta precision al escribir las directivas.

• 1. Accede al gestor de archivos o FTP: entra en el panel de tu hosting (cPanel, Plesk, panel propio) o conecta via FTP/SFTP. Localiza la carpeta raiz de tu instalacion WordPress, normalmente public_html o el nombre de tu dominio.
• 2. Localiza o crea robots.txt: si el archivo existe, descargalo y haz una copia de seguridad. Si no existe, crea un nuevo archivo de texto plano llamado robots.txt.
• 3. Sustituye reglas peligrosas por una base segura: elimina directivas criticas como Disallow: / y comienza desde una configuracion minima correcta (ver ejemplos mas adelante).
• 4. Guarda y sube el archivo: una vez editado, subelo a la raiz del dominio, sobrescribiendo el anterior si es necesario.
• 5. Verifica en el navegador: vuelve a cargar https://tudominio.com/robots.txt y comprueba que el contenido coincide con lo que has guardado.
• 6. Limpia caches si procede: si usas plugins de cache o CDN (Cloudflare, etc.), purga la cache para que los bots vean la version actualizada.

Usar plugins de WordPress para corregir robots.txt

Si prefieres no tocar archivos en el servidor, puedes arreglar un robots.txt mal configurado utilizando plugins SEO de WordPress. Estas herramientas ofrecen interfaces graficas para editar el archivo y, en muchos casos, plantillas recomendadas. Sin embargo, es importante entender como funcionan para evitar conflictos con otros plugins o con un robots.txt fisico existente.

• Yoast SEO: en la seccion de herramientas, permite crear y editar el archivo robots.txt. Si no existe, lo genera; si ya hay uno fisico, puede mostrar su contenido para modificarlo.
• Rank Math: incluye un editor de robots.txt dentro de su panel SEO. Permite activar o desactivar el archivo virtual y definir reglas personalizadas.
• All in One SEO: ofrece opciones similares, con plantillas basicas y campos para anadir directivas especificas.

El flujo general para corregir el robots.txt con un plugin es similar, independientemente de la herramienta que uses: localizar el editor, revisar el contenido actual, sustituir reglas peligrosas por una configuracion segura y guardar los cambios. Despues, debes comprobar siempre el resultado final accediendo a /robots.txt desde el navegador.

Ejemplos de robots.txt correctos para WordPress

Contar con ejemplos claros de robots.txt bien configurados para WordPress te ayudara a corregir errores rapidamente y a disponer de una base solida sobre la que anadir ajustes especificos si tu proyecto lo requiere. A continuacion se muestran varios modelos recomendados para distintos tipos de sitios, que puedes adaptar a tu dominio y a tu plugin SEO.

Ejemplo basico para la mayoria de sitios WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap_index.xml

Este ejemplo permite el rastreo general del sitio, bloquea el acceso al area de administracion (salvo al archivo admin-ajax.php, necesario para ciertas funciones) y declara la ubicacion del sitemap generado por plugins como Yoast SEO o Rank Math.

Ejemplo para tienda online con WooCommerce

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /carrito/
Disallow: /mi-cuenta/
Disallow: /finalizar-compra/

Sitemap: https://tudominio.com/sitemap_index.xml

En este caso se bloquean paginas de proceso interno (carrito, cuenta, checkout) que no aportan valor SEO y que pueden generar contenido duplicado o poco util en los resultados de busqueda.

Ejemplo para blog con categorias y etiquetas

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap_index.xml

En muchos blogs no es necesario bloquear categorias o etiquetas desde el robots.txt; es preferible gestionar su indexacion con etiquetas noindex desde el plugin SEO, manteniendo el archivo robots.txt lo mas limpio posible.

Como comprobar que Google lee bien tu robots.txt

Tras corregir un robots.txt mal configurado en WordPress, es esencial verificar que Google y otros motores de busqueda lo interpretan correctamente. No basta con ver el archivo en el navegador; debes asegurarte de que las URLs clave son rastreables y de que no estas bloqueando recursos necesarios para la correcta renderizacion de tus paginas.

• 1. Usa Google Search Console: en el informe de cobertura, revisa los errores relacionados con “Bloqueado por el archivo robots.txt”. Comprueba si afectan a paginas que deberian ser accesibles.
• 2. Inspecciona URLs concretas: utiliza la herramienta de inspeccion de URL en Search Console para ver si una pagina especifica esta bloqueada por robots.txt y como la ve Google.
• 3. Lanza un rastreo con herramientas SEO: ejecuta un crawl con Screaming Frog, Sitebulb o similares para detectar bloqueos inesperados en secciones completas del sitio.
• 4. Revisa el acceso a recursos: asegúrate de que carpetas como /wp-content/uploads/ no estan bloqueadas, ya que contienen imagenes y otros medios importantes.
• 5. Monitoriza durante varias semanas: los cambios en robots.txt pueden tardar un tiempo en reflejarse en los indices. Observa la evolucion del trafico y de los informes de Search Console.

Buenas practicas y errores a evitar en el futuro

Una vez que has arreglado un robots.txt mal configurado en WordPress, el siguiente paso es establecer buenas practicas para no volver a cometer los mismos errores. El objetivo es mantener un archivo sencillo, facil de entender y alineado con la estrategia SEO de tu proyecto, evitando cambios impulsivos o copias de configuraciones ajenas sin analisis previo.

• Mantenerlo simple: incluye solo las directivas necesarias. Cuantas menos reglas, menor probabilidad de errores.
• No usar robots.txt para gestionar indexacion: utiliza etiquetas noindex y configuraciones del plugin SEO para decidir que se indexa, no el robots.txt.
• Evitar bloqueos masivos: no bloquees directorios completos como /wp-content/ sin un motivo muy justificado.
• Documentar cambios: anota la fecha, el motivo y el contenido de cada modificacion en el robots.txt para poder revertir facilmente.
• Revisar tras grandes actualizaciones: cuando cambies de tema, plugin SEO o estructura de URLs, revisa el robots.txt para asegurarte de que sigue siendo valido.
• Formar al equipo: si varias personas tienen acceso al panel de WordPress, limita quien puede editar el robots.txt y proporciona pautas claras.

Preguntas frecuentes