Cómo bloquear los rastreadores de IA y proteger tu sitio web (2026)

Los rastreadores de IA ya representan más del 20% de todo el tráfico web, y con más de 170 bots de IA extrayendo contenido de forma activa, bloquear los rastreadores de IA es importante para todo propietario de un sitio web. Tanto si tu contenido se usa para entrenar modelos de IA sin compensación, como si pierdes tráfico de referencia a manos de la búsqueda con IA o el ancho de banda de tu VPS está desapareciendo, esta guía cubre todos los métodos disponibles en 2026: desde el interruptor gratuito de un clic de Cloudflare hasta las reglas de Nginx a nivel de servidor y la defensa AI Labyrinth.

El enfoque que funciona es la defensa por capas. Ningún método detiene a todos los bots por sí solo. Recorreré siete métodos, desde el más sencillo (un clic en Cloudflare) hasta el más granular (configuraciones a nivel de servidor y nuevos estándares web), y te mostraré cómo verificar que cada uno funciona de verdad.

¿Por qué bloquear los rastreadores de IA en 2026?

Tres razones por las que esto importa más ahora que en 2024:

Ancho de banda y coste. Los bots de IA son responsables de más del 20% de todas las peticiones HTML en la red de Cloudflare. Rastreadores agresivos como Bytespider de ByteDance accedieron a más del 40% de los sitios protegidos por Cloudflare. ClaudeBot de Anthropic registró un aumento de volumen del 800% a finales de 2025. Si tienes un VPS con límite de ancho de banda, estos bots están consumiendo tu cuota sin darte nada a cambio.

Propiedad del contenido. Tu contenido se usa para entrenar modelos de IA comerciales sin compensación ni atribución. Esos visitantes no entran en tu sitio, no se suscriben a tu newsletter y no hacen clic en tus enlaces de afiliado. La empresa de IA se beneficia; tú pagas la factura del ancho de banda.

Contexto legal. La Ley de IA de la UE (artículo 53, en vigor desde el 2 de agosto de 2025) exige ahora a los proveedores de IA de propósito general que implementen políticas de cumplimiento de derechos de autor y respeten las exclusiones legibles por máquina como robots.txt. Si estás en la UE, tu archivo robots.txt tiene ahora peso legal. Más sobre esto en el método 6.

El panorama de los rastreadores de IA en 2026: quién rastrea y por qué

El ecosistema de bots de IA ha explotado desde 2024. El repositorio mantenido por la comunidad ai-robots-txt (más de 4.000 estrellas en GitHub) ya registra más de 170 rastreadores de IA. En la práctica, necesitas conocer tres categorías, que se corresponden directamente con el nuevo sistema de clasificación de Cloudflare:

La advertencia del rastreador sigiloso de Perplexity

Esta es la historia aleccionadora más importante para quien confíe solo en robots.txt: en agosto de 2025, Cloudflare descubrió a Perplexity usando rastreadores sigilosos y no declarados que se hacían pasar por Chrome en macOS. Cuando se bloqueaban mediante su user-agent declarado PerplexityBot, cambiaban a una huella de navegador genérica, usaban IPs rotativas repartidas en varios ASN y, en algunos casos, ni siquiera solicitaban robots.txt. Cloudflare observó entre 3 y 6 millones de peticiones sigilosas diarias y retiró a Perplexity de la lista de bots verificados.

Si te interesa cómo funciona la búsqueda con IA de Perplexity y su enfoque, echa un vistazo a nuestro artículo sobre el enfoque de Perplexity en la búsqueda con IA.

La lección: robots.txt es una petición cortés, no una barrera de seguridad. La aplicación técnica a nivel de WAF es lo único que realmente detiene a los malos actores.

Método 1: bloquea los rastreadores de IA con el interruptor de un clic de Cloudflare (recomendado)

Este es el método más sencillo y eficaz. Cloudflare introdujo en julio de 2024 un interruptor de un clic que bloquea automáticamente los scrapers y rastreadores de IA conocidos, sin necesidad de crear reglas de WAF. Está disponible en el plan gratuito y Cloudflare actualiza las huellas de bots a medida que surgen nuevos rastreadores.

Paso 1: activa el proxy de Cloudflare

Asegúrate de que los registros DNS de tu sitio tengan la nube naranja (proxy) activada y no estén en modo solo DNS. Si necesitas ayuda para configurar Cloudflare por primera vez, mira cómo desplegar tu sitio en Cloudflare o crear un blog en el nivel gratuito de Cloudflare.

Paso 2: ve a Security > Bots

En el panel de Cloudflare, ve a Security > Bots. Verás la sección “AI Scrapers and Crawlers”.

Paso 3: activa “Block AI bots”

Activa el interruptor. Eso es todo, Cloudflare se encarga del resto.

Paso 4: verifica que funciona

Espera 5 minutos y prueba:

curl -s -o /dev/null -w "%{http_code}" -A "GPTBot/1.0" https://yoursite.com
# Debería devolver 403 o 406

También puedes revisar el panel Security > Analytics al cabo de unas horas para ver cuántas peticiones de IA se han bloqueado.

Método 2: políticas granulares de bots de IA de Cloudflare (Search, Agent, Training)

Si quieres un control más fino sobre qué tipos de bots de IA pueden acceder a tu sitio, el nuevo sistema de tres categorías de Cloudflare (lanzado en julio de 2026) te da exactamente eso. Sustituye al antiguo preajuste gestionado “Block AI bots”.

Ve a Security Settings > Configure AI bot policies en tu panel de Cloudflare. Verás tres categorías:

Para cada categoría puedes elegir:

• Block: bloquear en todas las páginas
• Block on pages with ads: término medio (nuevo valor por defecto para Training y Agent)
• Allow: dejarlos pasar

La opción “Block on pages with ads” es ingeniosa: permite a los bots de IA acceder a tus páginas de contenido (que pueden generar tráfico) mientras los bloquea en las páginas monetizadas (donde te costarían ingresos publicitarios sin aportar nada).

Para comprobar los resultados, ve a Security > Analytics después de 24 horas y revisa las peticiones bloqueadas frente a las permitidas por categoría.

Método 3: AI Labyrinth: gasta los recursos de los bots en lugar de bloquearlos

AI Labyrinth de Cloudflare (lanzado en marzo de 2025) adopta un enfoque distinto: en lugar de limitarse a bloquear bots, les sirve contenido señuelo generado por IA a través de enlaces ocultos que ningún humano pulsaría jamás. Esto consigue tres cosas:

1. Desperdicia los recursos de cómputo del rastreador procesando contenido falso
2. Actúa como honeypot: si un rastreador sigue los enlaces ocultos, Cloudflare sabe que es un bot
3. Alimenta los modelos de ML de Cloudflare para identificar nuevos patrones de bots más rápido

Está disponible en el plan gratuito como interruptor opcional en Security > Bots (la misma página que el interruptor de AI Scrapers del método 1).

Es el tipo de defensa que me gusta: no se limita a rechazar el tráfico malo, sino que hace el trabajo del atacante más difícil y más caro de forma activa.

Método 4: bloquea los rastreadores de IA con robots.txt (lista completa)

robots.txt es el estándar web para declarar qué rastreadores pueden acceder a tu contenido. Ahora tiene relevancia legal en la UE bajo la Ley de IA (más sobre esto en el método 6). Pero tenlo en cuenta: robots.txt es una petición, no una barrera. Los bots bien comportados lo respetan. Los malos actores, no. Combínalo siempre con Cloudflare o con bloqueo a nivel de servidor.

Aquí tienes un robots.txt con anotaciones según su propósito que cubre los principales rastreadores de IA:

# === RASTREADORES DE ENTRENAMIENTO DE IA (BLOQUEAR) ===
# Estos bots recopilan datos para entrenar modelos, sin beneficio de referencia

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: meta-externalfetcher
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: DeepSeekBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# === RASTREADORES DE BÚSQUEDA DE IA (CONSIDERA PERMITIRLOS) ===
# Pueden generar tráfico de referencia; descomenta para bloquearlos

# User-agent: OAI-SearchBot
# Disallow: /

# User-agent: Claude-SearchBot
# Disallow: /

# User-agent: PerplexityBot
# Disallow: /

# User-agent: DuckAssistBot
# Disallow: /

# === AGENTES DE USUARIO DE IA (CONSIDERA PERMITIRLOS) ===
# Son activados por el usuario, no rastreo masivo

# User-agent: ChatGPT-User
# Disallow: /

# User-agent: Claude-User
# Disallow: /

# User-agent: Perplexity-User
# Disallow: /

# User-agent: MistralAI-User
# Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Gemini-Deep-Research
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: meta-externalfetcher
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: DeepSeekBot
Disallow: /

User-agent: MistralAI-User
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: DuckAssistBot
Disallow: /

User-agent: Diffbot
Disallow: /

El repositorio comunitario ai-robots-txt (más de 4.000 estrellas) mantiene una lista aún más completa con más de 170 bots. También proporciona configuraciones listas para usar para Nginx, Apache, Caddy y HAProxy.

Método 5: bloqueo de rastreadores de IA a nivel de servidor (Nginx, Apache, Caddy)

Para los que se autoalojan en su propio VPS, el bloqueo por user-agent a nivel de servidor añade defensa en profundidad por debajo de la capa WAF. Si te autoalojas en un VPS como Hetzner Cloud, esta es tu última línea de defensa cuando los bots evitan Cloudflare o no pasan por él.

Los precios de los VPS subieron en general en 2026: si te estás replanteando un servidor alquilado, mira qué cambió y cuándo gana un mini PC.

El repositorio comunitario ai-robots-txt proporciona archivos de configuración listos para los tres principales servidores web. Para proteger tu VPS contra el tráfico malicioso de forma más amplia, combina esto con herramientas como CrowdSec.

# Añade dentro de tu bloque server {}
if ($http_user_agent ~* "(GPTBot|ChatGPT-User|ClaudeBot|Claude-User|CCBot|PerplexityBot|Bytespider|Amazonbot|meta-externalagent|Google-Extended|OAI-SearchBot|DeepSeekBot|cohere-ai|Diffbot|Applebot-Extended)") {
    return 403;
}

# Descarga la lista más reciente
curl -o /etc/nginx/conf.d/nginx-block-ai-bots.conf \
  https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/main/nginx-block-ai-bots.conf

# Añade en tu bloque server {}
include /etc/nginx/conf.d/nginx-block-ai-bots.conf;

nginx -t && systemctl reload nginx

<IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} (GPTBot|ChatGPT-User|ClaudeBot|Claude-User|CCBot|PerplexityBot|Bytespider|Amazonbot|meta-externalagent|Google-Extended|DeepSeekBot|cohere-ai) [NC]
    RewriteRule .* - [F,L]
</IfModule>

@blocked_ai_bots {
    header_regexp User-Agent "(GPTBot|ChatGPT-User|ClaudeBot|Claude-User|CCBot|PerplexityBot|Bytespider|Amazonbot|meta-externalagent|Google-Extended|DeepSeekBot|cohere-ai)"
}

handle @blocked_ai_bots {
    abort
}

Método 6: TDM Reservation Protocol y exclusiones legibles por máquina

Han surgido varios estándares web nuevos para dar a los editores formas legibles por máquina de declarar los derechos de uso para IA. Complementan a robots.txt y tienen un peso legal creciente, sobre todo en la UE.

TDM Reservation Protocol (estándar del W3C)

El TDM Reservation Protocol permite declarar reservas de derechos mediante cabeceras de respuesta HTTP. Añade esto a tu configuración de Nginx:

# Añade a tu bloque server {} o location {}
add_header tdm-reservation "1";
add_header tdm-policy "https://yourdomain.com/tdm-policy.json";

Para Apache:

Header set tdm-reservation "1"

Tiene relevancia legal bajo la Ley de IA de la UE: los proveedores de GPAI deben detectar y respetar estas señales.

Cloudflare Content-Signal

Si usas el robots.txt gestionado de Cloudflare, ahora antepone automáticamente una directiva Content-Signal:

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

El parámetro use= indica los niveles de uso del contenido: immediate, reference o full. Es la forma que tiene Cloudflare de hacer que las exclusiones sean legibles por máquina sin requerir configuración manual.

Otros estándares emergentes

• ai.txt: estándar propuesto para permisos de uso de IA (no-training, no-inference, Allow-RAG). Se coloca en la raíz del sitio o en /.well-known/ai.txt
• llms.txt: un archivo Markdown en la raíz del sitio que da a los LLM un resumen curado del contenido clave. No es una herramienta de bloqueo: es una herramienta de SEO para IA que controla cómo los LLM entienden tu sitio
• RSL 1.0 (Really Simple Licensing): estándar abierto (diciembre de 2025) que complementa robots.txt con categorías de licencia y modelos de pago por contribución. Respaldado por Yahoo, Ziff Davis y O’Reilly Media

Método 7: bloqueo por IP y métodos complementarios

El bloqueo por IP es el truco más antiguo del manual, pero el menos práctico a escala: las empresas de IA usan IPs en la nube que rotan con frecuencia. Aun así, tiene su lugar como método complementario.

# Ejemplo — verifica los rangos actuales antes de ejecutar
sudo ufw deny proto tcp from 23.98.142.176/28 to any port 80
sudo ufw deny proto tcp from 23.98.142.176/28 to any port 443
sudo ufw deny proto tcp from 40.84.180.224/28 to any port 80
sudo ufw deny proto tcp from 40.84.180.224/28 to any port 443

grep -E "GPTBot|ClaudeBot|CCBot|Bytespider" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn

Otros métodos complementarios

Metaetiquetas. Las metaetiquetas noai y noimageai siguen siendo válidas. Añádelas al <head> de tu HTML:

<meta name="robots" content="noai, noimageai">

Las empresas de IA que cumplen las normas las comprueban, pero técnicamente son fáciles de ignorar.

Plugins de WordPress. Si usas WordPress:

• Block AI Crawlers (de bobmatyas, actualizado en noviembre de 2025): genera un robots.txt que bloquea los rastreadores de IA habituales y añade las metaetiquetas noai/noimageai
• Known Agents (antes Dark Visitors): sigue el panorama de los rastreadores de IA y genera tu robots.txt automáticamente

Para más opciones específicas de WordPress, consulta nuestra guía sobre plugins anti-scraping para WordPress.

Usuarios de Netlify. Netlify ofrece una extensión User Agent Blocker (basada en Edge Functions) que bloquea rastreadores de IA desde el panel del proyecto; vale la pena revisarla si alojas sitios estáticos allí.

Bloqueo a nivel de DNS. También puedes bloquear el tráfico no deseado a nivel de DNS con NextDNS, que añade otra capa de protección antes de que las peticiones lleguen siquiera a tu servidor.

Cómo verificar que tus bloqueos de rastreadores de IA funcionan

No actives las protecciones y des por hecho que funcionan. Así es como se confirma:

Prueba con curl usando user-agents de bots de IA:

# Comprueba si GPTBot está bloqueado
curl -s -o /dev/null -w "%{http_code}" -A "GPTBot/1.0" https://yoursite.com
# Debería devolver 403 o 406

# Comprueba si robots.txt sigue accesible (debería estarlo)
curl -s -A "GPTBot/1.0" https://yoursite.com/robots.txt
# Debería devolver el contenido de tu robots.txt

# Prueba ClaudeBot
curl -s -o /dev/null -w "%{http_code}" -A "ClaudeBot/1.0" https://yoursite.com
# Debería devolver 403

Revisa Security Analytics de Cloudflare:

Ve a Security > Analytics en el panel de Cloudflare. Al cabo de 24 horas deberías ver las peticiones bloqueadas en la sección “Bot Traffic”. Filtra por categoría de bot para ver el tráfico de entrenamiento, búsqueda y agentes por separado.

Busca en los logs del servidor:

# Busca accesos de rastreadores de IA en las últimas 24 horas
grep -E "GPTBot|ClaudeBot|CCBot|Bytespider|PerplexityBot" /var/log/nginx/access.log | tail -20

# Cuenta los códigos de estado devueltos
grep -E "GPTBot|ClaudeBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c

Nota: si actualizaste robots.txt, los rastreadores que cumplen las normas lo cachean durante 24-48 horas antes de volver a solicitarlo. No esperes resultados inmediatos de los cambios en robots.txt.

El futuro: Pay Per Crawl y la monetización del contenido para IA

Cloudflare presentó Pay Per Crawl (beta privada, julio de 2025) como una tercera opción más allá de “permitir” o “bloquear”: monetizar. En lugar de bloquear los rastreadores de IA directamente, los editores pueden cobrar por petición. Usa HTTP 402 (Payment Required), Web Bot Auth con firmas Ed25519 y Cloudflare actúa como Merchant of Record.

La idea: las empresas de IA obtienen acceso a contenido de calidad, los editores cobran y Cloudflare gestiona la infraestructura de pagos. Para los operadores en solitario que han pasado años construyendo bibliotecas de contenido, esto podría convertirse con el tiempo en una fuente de ingresos.

Conclusión: construye una defensa por capas contra los rastreadores de IA

Ningún método bloquea a todos los rastreadores de IA. El escándalo del rastreador sigiloso de Perplexity demostró que incluso un robots.txt bien configurado puede ignorarse. Esta es la pila de defensa que recomiendo:

Combinar Cloudflare (métodos 1-3) con robots.txt (método 4) cubre el 99% de las amenazas para la mayoría de los sitios. Quienes se autoalojan en un VPS deberían añadir el bloqueo a nivel de servidor (método 5) como red de seguridad.

Si va en serio lo de controlar quién accede a tu contenido, el enfoque por capas funciona. Para una protección más amplia de tu presencia en línea, también puedes bloquear el tráfico no deseado a nivel de DNS y explorar soluciones de privacidad autoalojadas que mantienen tus datos bajo tu control.

Preguntas frecuentes