Robots txt en WordPress mal configurado cómo arreglar
Guía completa para detectar y corregir un robots.txt mal configurado en WordPress, evitar pérdida de tráfico y mejorar tu posicionamiento SEO.
Índice
- Qué es robots.txt en WordPress y por qué es clave para el SEO
- Cómo funciona robots.txt y su relación con WordPress
- Señales claras de que tu robots.txt en WordPress esta mal configurado
- Errores criticos de robots.txt que destruyen tu SEO
- Como revisar tu robots.txt en WordPress paso a paso
- Como arreglar robots.txt en WordPress de forma manual
- Usar plugins de WordPress para corregir robots.txt
- Ejemplos de robots.txt correctos para WordPress
- Como comprobar que Google lee bien tu robots.txt
- Buenas practicas y errores a evitar en el futuro
- Preguntas frecuentes
Que es robots.txt en WordPress y por que es clave para el SEO
El archivo robots.txt es un fichero de texto ubicado en la raiz de tu dominio que indica a los robots de los motores de busqueda (como Googlebot, Bingbot y otros) que partes de tu sitio web pueden rastrear y cuales deben evitar. En un sitio WordPress, este archivo es especialmente importante porque la plataforma genera muchas URLs internas, paginas de archivo, etiquetas, feeds y recursos tecnicos que, si se gestionan mal, pueden afectar negativamente al SEO y al rendimiento del rastreo.
Cuando el robots.txt esta mal configurado en WordPress, puedes bloquear sin querer paginas importantes, como entradas del blog, paginas de servicios o incluso todo el sitio. Esto provoca caidas bruscas de trafico organico, problemas de indexacion y perdida de visibilidad en buscadores. Por eso, entender que hace este archivo y como corregirlo es fundamental para cualquier administrador de un sitio WordPress.
En resumen: el robots.txt no mejora el posicionamiento por si mismo, pero una mala configuracion puede arruinar tu SEO. Su funcion es controlar el acceso de los robots, no decidir que se indexa, pero en la practica influye directamente en que contenido llega a los motores de busqueda.
Como funciona robots.txt y su relacion con WordPress
Cuando un robot de un motor de busqueda visita tu sitio, lo primero que suele hacer es solicitar la URL https://tudominio.com/robots.txt. Ahi encuentra un conjunto de reglas formadas por directivas como User-agent, Disallow, Allow y, opcionalmente, la ruta del Sitemap. Estas reglas le indican que directorios o URLs puede rastrear y cuales debe evitar. Aunque los robots pueden ignorar el archivo, los principales buscadores lo respetan de forma general.
En WordPress, el sistema genera por defecto un robots.txt virtual si no existe uno fisico en la raiz del servidor. Muchos usuarios ni siquiera saben que existe, porque no lo ven en el gestor de archivos. Ademas, algunos plugins SEO (como Yoast SEO, Rank Math o All in One SEO) permiten modificar este archivo desde el panel de administracion, lo que facilita su gestion pero tambien aumenta el riesgo de cometer errores graves con un par de clics.
- Robots.txt virtual de WordPress: se genera dinamicamente si no hay archivo fisico. Suele ser basico y, en muchos casos, suficiente para sitios sencillos.
- Robots.txt fisico: un archivo real en la raiz del dominio (
/public_html/robots.txto similar) que tiene prioridad sobre el virtual. - Plugins SEO: permiten editar el robots.txt sin tocar el servidor, pero pueden sobreescribir o crear reglas conflictivas.
Es importante entender que el robots.txt controla el rastreo, no la indexacion directa. Una URL bloqueada por robots.txt puede seguir apareciendo en los resultados si otros sitios la enlazan, aunque sin contenido. Para controlar la indexacion se usan etiquetas noindex en el HTML, no el robots.txt.
Senales claras de que tu robots.txt en WordPress esta mal configurado
Un robots.txt mal configurado rara vez avisa de forma directa. Normalmente lo descubres cuando ya hay problemas de trafico o indexacion. Identificar las senales tempranas te permite reaccionar antes de que el dano sea mayor. A continuacion se describen los sintomas mas habituales que indican que tu archivo robots.txt en WordPress puede estar bloqueando contenido importante o generando conflictos con los motores de busqueda.
- Caida repentina de trafico organico: si ves en Google Analytics o en Search Console una bajada brusca de visitas desde buscadores, revisa tu robots.txt.
- Paginas importantes sin indexar: servicios, productos o articulos clave que no aparecen en Google ni usando
site:tudominio.com. - Avisos en Google Search Console: mensajes del tipo “Se ha bloqueado una URL por el archivo robots.txt” en paginas que deberian ser accesibles.
- Imposibilidad de rastreo en herramientas SEO: crawlers como Screaming Frog, Sitebulb o Ahrefs no pueden acceder a gran parte del sitio.
- Bloqueo de recursos esenciales: CSS, JS o imagenes bloqueadas que impiden a Google renderizar correctamente tus paginas.
Si detectas cualquiera de estas senales, el primer paso es revisar de inmediato el contenido de /robots.txt. Un simple Disallow: / o una regla mal escrita puede ser la causa de la perdida de visibilidad de todo tu sitio WordPress.
Errores criticos de robots.txt que destruyen tu SEO
Algunos errores en el archivo robots.txt son simples ineficiencias, pero otros pueden destruir literalmente tu SEO en cuestion de dias. Estos fallos suelen aparecer al copiar y pegar configuraciones de otros sitios, al usar plugins sin comprender sus efectos o al intentar “optimizar el crawl budget” sin la experiencia necesaria. A continuacion se detallan los errores mas peligrosos que debes evitar a toda costa en tu WordPress.
-
Bloquear todo el sitio con
Disallow: /: esta directiva impide que los robots rastreen cualquier URL de tu dominio. Es util solo en entornos de desarrollo o sitios privados, pero devastadora en un sitio en produccion. -
Bloquear el directorio raiz sin excepciones: reglas como
Disallow: /wp-mal escritas pueden afectar a rutas legitimas, segun la estructura de tu sitio. -
Impedir el acceso a CSS y JS: directivas que bloquean
/wp-includes/o/wp-content/sin matices pueden evitar que Google cargue los estilos y scripts necesarios para ver tu sitio como un usuario real. -
Bloquear el sitemap XML: impedir el acceso a
/sitemap.xmlo a los sitemaps generados por plugins SEO dificulta que Google descubra tus URLs. -
Duplicar o contradecir reglas: tener varias secciones para el mismo
User-agentcon directivas contradictorias genera resultados impredecibles. -
Usar comodines sin entender su efecto: patrones como
Disallow: /*?oDisallow: /*.php$pueden bloquear mas de lo que imaginas.
Antes de guardar cualquier cambio en tu robots.txt, pregunta siempre: “¿Estoy bloqueando por error contenido que deberia posicionar?”. Si no estas seguro, prueba primero en un entorno de pruebas o consulta con un especialista SEO.
Como revisar tu robots.txt en WordPress paso a paso
Antes de arreglar un robots.txt mal configurado en WordPress, necesitas saber exactamente que contiene y como lo estan interpretando los motores de busqueda. Este proceso de auditoria es relativamente sencillo, pero conviene seguirlo de forma ordenada para no pasar por alto ningun detalle critico.
-
1. Accede a
/robots.txtdesde el navegador: escribe en tu navegadorhttps://tudominio.com/robots.txt. Copia el contenido en un editor de texto para revisarlo con calma. -
2. Comprueba si es virtual o fisico: entra en tu hosting (FTP, cPanel, Plesk) y verifica si existe un archivo
robots.txten la raiz. Si no esta, probablemente WordPress lo genera de forma virtual o un plugin lo esta gestionando. - 3. Identifica el origen de la configuracion: revisa tus plugins SEO (Yoast, Rank Math, etc.) para ver si tienen una seccion especifica de robots.txt. Si la tienen, es probable que esten sobreescribiendo la configuracion.
-
4. Detecta directivas peligrosas: busca lineas como
Disallow: /, bloqueos de/wp-content/,/wp-includes/o rutas que contengan “sitemap”. -
5. Revisa la seccion de Sitemap: comprueba que la linea
Sitemap:apunta a la URL correcta generada por tu plugin SEO o por WordPress. - 6. Valida con herramientas externas: usa el probador de robots.txt de Google Search Console (si esta disponible) o herramientas de terceros para simular el rastreo.
Documenta siempre el estado inicial de tu robots.txt antes de hacer cambios. Guarda una copia de seguridad del contenido actual para poder volver atras rapidamente si algo sale mal tras la modificacion.
Como arreglar robots.txt en WordPress de forma manual
Si has detectado que tu robots.txt esta mal configurado, puedes corregirlo manualmente creando o editando el archivo fisico en la raiz de tu sitio WordPress. Este enfoque te da un control total y evita conflictos con configuraciones virtuales, aunque requiere acceso al servidor y cierta precision al escribir las directivas.
-
1. Accede al gestor de archivos o FTP: entra en el panel de tu hosting (cPanel, Plesk, panel propio) o conecta via FTP/SFTP. Localiza la carpeta raiz de tu instalacion WordPress, normalmente
public_htmlo el nombre de tu dominio. -
2. Localiza o crea
robots.txt: si el archivo existe, descargalo y haz una copia de seguridad. Si no existe, crea un nuevo archivo de texto plano llamadorobots.txt. -
3. Sustituye reglas peligrosas por una base segura: elimina directivas criticas como
Disallow: /y comienza desde una configuracion minima correcta (ver ejemplos mas adelante). - 4. Guarda y sube el archivo: una vez editado, subelo a la raiz del dominio, sobrescribiendo el anterior si es necesario.
-
5. Verifica en el navegador: vuelve a cargar
https://tudominio.com/robots.txty comprueba que el contenido coincide con lo que has guardado. - 6. Limpia caches si procede: si usas plugins de cache o CDN (Cloudflare, etc.), purga la cache para que los bots vean la version actualizada.
Editar el robots.txt manualmente es la opcion mas estable a largo plazo, siempre que documentes los cambios y mantengas el archivo sencillo. Evita sobreoptimizar: cuantas mas reglas innecesarias incluyas, mayor es el riesgo de cometer errores que afecten al SEO.
Usar plugins de WordPress para corregir robots.txt
Si prefieres no tocar archivos en el servidor, puedes arreglar un robots.txt mal configurado utilizando plugins SEO de WordPress. Estas herramientas ofrecen interfaces graficas para editar el archivo y, en muchos casos, plantillas recomendadas. Sin embargo, es importante entender como funcionan para evitar conflictos con otros plugins o con un robots.txt fisico existente.
- Yoast SEO: en la seccion de herramientas, permite crear y editar el archivo robots.txt. Si no existe, lo genera; si ya hay uno fisico, puede mostrar su contenido para modificarlo.
- Rank Math: incluye un editor de robots.txt dentro de su panel SEO. Permite activar o desactivar el archivo virtual y definir reglas personalizadas.
- All in One SEO: ofrece opciones similares, con plantillas basicas y campos para anadir directivas especificas.
El flujo general para corregir el robots.txt con un plugin es similar, independientemente de la herramienta que uses: localizar el editor, revisar el contenido actual, sustituir reglas peligrosas por una configuracion segura y guardar los cambios. Despues, debes comprobar siempre el resultado final accediendo a /robots.txt desde el navegador.
Evita que varios plugins gestionen el robots.txt al mismo tiempo. Elige uno solo como referencia y desactiva las funciones relacionadas en el resto para prevenir sobreescrituras o inconsistencias entre el archivo virtual y el fisico.
Ejemplos de robots.txt correctos para WordPress
Contar con ejemplos claros de robots.txt bien configurados para WordPress te ayudara a corregir errores rapidamente y a disponer de una base solida sobre la que anadir ajustes especificos si tu proyecto lo requiere. A continuacion se muestran varios modelos recomendados para distintos tipos de sitios, que puedes adaptar a tu dominio y a tu plugin SEO.
Ejemplo basico para la mayoria de sitios WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap_index.xml
Este ejemplo permite el rastreo general del sitio, bloquea el acceso al area de administracion (salvo al archivo admin-ajax.php, necesario para ciertas funciones) y declara la ubicacion del sitemap generado por plugins como Yoast SEO o Rank Math.
Ejemplo para tienda online con WooCommerce
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /carrito/
Disallow: /mi-cuenta/
Disallow: /finalizar-compra/
Sitemap: https://tudominio.com/sitemap_index.xml
En este caso se bloquean paginas de proceso interno (carrito, cuenta, checkout) que no aportan valor SEO y que pueden generar contenido duplicado o poco util en los resultados de busqueda.
Ejemplo para blog con categorias y etiquetas
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap_index.xml
En muchos blogs no es necesario bloquear categorias o etiquetas desde el robots.txt; es preferible gestionar su indexacion con etiquetas noindex desde el plugin SEO, manteniendo el archivo robots.txt lo mas limpio posible.
Adapta siempre las rutas a tu idioma y estructura real. Si tu pagina de carrito se llama /cart/ en lugar de /carrito/, ajusta la directiva Disallow en consecuencia. Un robots.txt copiado sin revisar puede ser tan peligroso como uno mal escrito desde cero.
Como comprobar que Google lee bien tu robots.txt
Tras corregir un robots.txt mal configurado en WordPress, es esencial verificar que Google y otros motores de busqueda lo interpretan correctamente. No basta con ver el archivo en el navegador; debes asegurarte de que las URLs clave son rastreables y de que no estas bloqueando recursos necesarios para la correcta renderizacion de tus paginas.
- 1. Usa Google Search Console: en el informe de cobertura, revisa los errores relacionados con “Bloqueado por el archivo robots.txt”. Comprueba si afectan a paginas que deberian ser accesibles.
- 2. Inspecciona URLs concretas: utiliza la herramienta de inspeccion de URL en Search Console para ver si una pagina especifica esta bloqueada por robots.txt y como la ve Google.
- 3. Lanza un rastreo con herramientas SEO: ejecuta un crawl con Screaming Frog, Sitebulb o similares para detectar bloqueos inesperados en secciones completas del sitio.
-
4. Revisa el acceso a recursos: asegúrate de que carpetas como
/wp-content/uploads/no estan bloqueadas, ya que contienen imagenes y otros medios importantes. - 5. Monitoriza durante varias semanas: los cambios en robots.txt pueden tardar un tiempo en reflejarse en los indices. Observa la evolucion del trafico y de los informes de Search Console.
Si tras corregir el robots.txt sigues viendo muchas URLs bloqueadas que deberian ser rastreadas, revisa si hay caches intermedias (CDN, proxy inverso) o si algun plugin esta generando una version alternativa del archivo que no coincide con la que ves en el servidor.
Buenas practicas y errores a evitar en el futuro
Una vez que has arreglado un robots.txt mal configurado en WordPress, el siguiente paso es establecer buenas practicas para no volver a cometer los mismos errores. El objetivo es mantener un archivo sencillo, facil de entender y alineado con la estrategia SEO de tu proyecto, evitando cambios impulsivos o copias de configuraciones ajenas sin analisis previo.
- Mantenerlo simple: incluye solo las directivas necesarias. Cuantas menos reglas, menor probabilidad de errores.
- No usar robots.txt para gestionar indexacion: utiliza etiquetas
noindexy configuraciones del plugin SEO para decidir que se indexa, no el robots.txt. - Evitar bloqueos masivos: no bloquees directorios completos como
/wp-content/sin un motivo muy justificado. - Documentar cambios: anota la fecha, el motivo y el contenido de cada modificacion en el robots.txt para poder revertir facilmente.
- Revisar tras grandes actualizaciones: cuando cambies de tema, plugin SEO o estructura de URLs, revisa el robots.txt para asegurarte de que sigue siendo valido.
- Formar al equipo: si varias personas tienen acceso al panel de WordPress, limita quien puede editar el robots.txt y proporciona pautas claras.
Considera el robots.txt como una pieza mas de tu estrategia SEO tecnica. No requiere cambios constantes, pero si una supervision periodica y un enfoque conservador. Ante la duda, es mejor permitir el rastreo que bloquearlo sin un analisis detallado del impacto.
Preguntas frecuentes
Como saber si mi robots.txt en WordPress esta bloqueando todo el sitio
Accede a https://tudominio.com/robots.txt y busca una linea Disallow: / bajo User-agent: *. Si existe y no hay reglas Allow que la matizen, estas impidiendo que los robots rastreen cualquier URL. Tambien puedes usar la herramienta de inspeccion de URL de Google Search Console para comprobar si una pagina concreta esta bloqueada por robots.txt.
Es obligatorio tener un archivo robots.txt en WordPress
No es obligatorio, pero si muy recomendable. Si no existe un archivo fisico, WordPress suele generar uno virtual basico. Sin embargo, disponer de un robots.txt propio te permite declarar la ubicacion del sitemap y controlar mejor el rastreo de ciertas areas tecnicas del sitio, siempre que lo configures correctamente.
Puedo arreglar el robots.txt solo con un plugin SEO
Si, la mayoria de los casos se pueden resolver desde plugins como Yoast SEO, Rank Math o All in One SEO, que incluyen editores de robots.txt. No obstante, debes asegurarte de que no exista un archivo fisico en el servidor que entre en conflicto y de que solo un plugin gestione esta configuracion para evitar sobreescrituras inesperadas.
Cuanto tarda Google en aplicar los cambios de robots.txt
Normalmente Google vuelve a rastrear el archivo robots.txt con bastante frecuencia, especialmente en sitios activos. Los cambios pueden empezar a tener efecto en cuestion de horas o pocos dias, aunque el impacto completo en la indexacion y en los informes de Search Console puede tardar algo mas en reflejarse.
Que es mejor para desindexar paginas, robots.txt o noindex
Para desindexar paginas concretas es mejor usar la etiqueta noindex (a traves de tu plugin SEO) y permitir que los robots rastreen la URL. El robots.txt solo debe usarse para impedir el rastreo de recursos tecnicos o areas que no deben ser exploradas, pero no es la herramienta adecuada para gestionar la indexacion en buscadores.
¿Necesitas orientación personalizada?
Te ayudamos a entender tus opciones y el siguiente paso.