Generador de robots.txt

Arma un robots.txt correcto en un minuto: elige qué bloquear, agrega tu sitemap y decide qué rastreadores de IA pueden leer tu sitio.

Search engines (all crawlers)
Block AI crawlers

robots.txt

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/

Upload it to the root of your site so it loads at yourdomain.com/robots.txt. Google ignores crawl-delay; Bing respects it, but most sites don't need it.

Qué hace robots.txt, y qué no

Detiene el rastreo. No saca una URL de Google de forma confiable: si otros sitios la enlazan, Google la puede indexar igual. Para sacarla de los resultados, usa noindex y deja que Google la rastree.

Bloquear rastreadores de entrenamiento (GPTBot, Google-Extended) deja tu contenido fuera del entrenamiento futuro. Bloquear rastreadores de búsqueda (OAI-SearchBot, PerplexityBot) te puede dejar fuera de respuestas que mandan clientes. La mayoría de los negocios locales quieren que los encuentren y dejan esos rastreadores permitidos.

Los rastreadores serios dicen que lo obedecen. Los bots malos no, así que no es seguridad. El archivo va en la raíz del dominio. Un “Disallow: /” suelto bloquea todo el sitio. Revísalo en Search Console después de subirlo.

Preguntas

¿robots.txt saca una página de Google?

No de forma confiable. Detiene el rastreo, pero Google igual puede indexar una URL bloqueada si otros sitios la enlazan. Para sacar una página de los resultados, usa una etiqueta noindex y deja que Google la rastree.

¿Debería bloquear a los rastreadores de IA?

Es una decisión del negocio. Bloquear rastreadores de entrenamiento como GPTBot o Google-Extended deja tu contenido fuera del entrenamiento futuro de modelos. Bloquear rastreadores de búsqueda como OAI-SearchBot o PerplexityBot te puede dejar fuera de respuestas de IA que mandan clientes. La mayoría de los negocios locales quieren que los encuentren, así que dejan permitidos los rastreadores de búsqueda.

¿Todos los bots obedecen robots.txt?

Los rastreadores serios de Google, Bing, OpenAI, Anthropic y otros dicen que lo siguen. Los bots malos lo ignoran, así que no es una herramienta de seguridad. Nunca lo uses para esconder información privada.

¿Dónde va el archivo?

En la raíz de tu dominio: https://tudominio.com/robots.txt. Un robots.txt en una subcarpeta se ignora.

¿Un error puede dañar mi ranking?

Sí. Un “Disallow: /” suelto bloquea todo el sitio. Después de subirlo, revísalo en el informe de robots.txt de Google Search Console.

Más herramientas gratis

Ver todas las herramientas