--- title: "Cómo bloquear los rastreadores de IA y proteger tu sitio web (2026)" description: "Bloquea los rastreadores de IA para que no roben el contenido de tu sitio web. Guía completa: bloqueo de Cloudflare con un clic, robots.txt, reglas de Nginx y AI Labyrinth." date: 2024-02-09 categories: ["tools"] tags: ["ai","cloudflare","security"] --- import Button from "@components/widgets/Button.astro"; import { Picture } from "astro:assets"; import Notice from "@components/widgets/Notice.astro"; import ListCheck from "@components/widgets/ListCheck.astro"; import Accordion from "@components/widgets/Accordion.astro"; import Tabs from "@components/widgets/Tabs.astro"; import Tab from "@components/widgets/Tab.astro"; import YouTubeEmbed from "@components/widgets/YouTubeEmbed.astro"; Los rastreadores de IA ya representan más del 20% de todo el tráfico web, y con más de 170 bots de IA extrayendo contenido de forma activa, **bloquear los rastreadores de IA** es importante para todo propietario de un sitio web. Tanto si tu contenido se usa para entrenar modelos de IA sin compensación, como si pierdes tráfico de referencia a manos de la búsqueda con IA o el ancho de banda de tu VPS está desapareciendo, esta guía cubre todos los métodos disponibles en 2026: desde el interruptor gratuito de un clic de Cloudflare hasta las reglas de Nginx a nivel de servidor y la defensa AI Labyrinth. El enfoque que funciona es la defensa por capas. Ningún método detiene a todos los bots por sí solo. Recorreré siete métodos, desde el más sencillo (un clic en Cloudflare) hasta el más granular (configuraciones a nivel de servidor y nuevos estándares web), y te mostraré cómo verificar que cada uno funciona de verdad. ## ¿Por qué bloquear los rastreadores de IA en 2026? Tres razones por las que esto importa más ahora que en 2024: **Ancho de banda y coste.** Los bots de IA son responsables de más del 20% de todas las peticiones HTML en la red de Cloudflare. Rastreadores agresivos como Bytespider de ByteDance accedieron a más del 40% de los sitios protegidos por Cloudflare. ClaudeBot de Anthropic registró un aumento de volumen del 800% a finales de 2025. Si tienes un VPS con límite de ancho de banda, estos bots están consumiendo tu cuota sin darte nada a cambio. **Propiedad del contenido.** Tu contenido se usa para entrenar modelos de IA comerciales sin compensación ni atribución. Esos visitantes no entran en tu sitio, no se suscriben a tu newsletter y no hacen clic en tus enlaces de afiliado. La empresa de IA se beneficia; tú pagas la factura del ancho de banda. **Contexto legal.** La Ley de IA de la UE (artículo 53, en vigor desde el 2 de agosto de 2025) exige ahora a los proveedores de IA de propósito general que implementen políticas de cumplimiento de derechos de autor y respeten las exclusiones legibles por máquina como `robots.txt`. Si estás en la UE, tu archivo `robots.txt` tiene ahora peso legal. Más sobre esto en el método 6. No todos los rastreadores de IA son perjudiciales. Los bots de indexación de búsqueda como OAI-SearchBot y Claude-SearchBot pueden traerte tráfico a través de los resultados de búsqueda con IA. Los rastreadores de entrenamiento como GPTBot y ClaudeBot no te enviarán ni un solo visitante. Esta guía te ayuda a decidir qué bloquear y qué permitir. ## El panorama de los rastreadores de IA en 2026: quién rastrea y por qué El ecosistema de bots de IA ha explotado desde 2024. El repositorio mantenido por la comunidad [ai-robots-txt](https://github.com/ai-robots-txt/ai.robots.txt) (más de 4.000 estrellas en GitHub) ya registra más de 170 rastreadores de IA. En la práctica, necesitas conocer tres categorías, que se corresponden directamente con el nuevo sistema de clasificación de Cloudflare: Estos bots extraen tu contenido para entrenar modelos de IA. No generan ningún tráfico de referencia. Bloquéalos. | Rastreador | Operador | Token de robots.txt | |---------|----------|-----------------| | GPTBot | OpenAI | `GPTBot` | | ClaudeBot | Anthropic | `ClaudeBot` | | CCBot | Common Crawl | `CCBot` | | Google-Extended | Google (Gemini) | `Google-Extended` | | Meta-ExternalAgent | Meta (Llama) | `meta-externalagent` | | Meta-ExternalFetcher | Meta | `meta-externalfetcher` | | Bytespider | ByteDance | `Bytespider` | | Amazonbot | Amazon (Alexa) | `Amazonbot` | | DeepSeekBot | DeepSeek | `DeepSeekBot` | | cohere-ai | Cohere | `cohere-ai` | | Diffbot | Diffbot | `Diffbot` | | Applebot-Extended | Apple Intelligence | `Applebot-Extended` | Estos indexan tu contenido para los resultados de búsqueda con IA. Pueden enviar tráfico de referencia. Considera permitirlos. | Rastreador | Operador | Token de robots.txt | |---------|----------|-----------------| | OAI-SearchBot | OpenAI (ChatGPT search) | `OAI-SearchBot` | | Claude-SearchBot | Anthropic (Claude search) | `Claude-SearchBot` | | PerplexityBot | Perplexity | `PerplexityBot` | | DuckAssistBot | DuckDuckGo | `DuckAssistBot` | | Gemini-Deep-Research | Google | `Gemini-Deep-Research` | Estos actúan en nombre de un usuario concreto en tiempo real. No es rastreo masivo. Considera permitirlos. | Rastreador | Operador | Token de robots.txt | |---------|----------|-----------------| | ChatGPT-User | OpenAI | `ChatGPT-User` | | Claude-User | Anthropic | `Claude-User` | | Perplexity-User | Perplexity | `Perplexity-User` | | MistralAI-User | Mistral (Le Chat) | `MistralAI-User` | ### La advertencia del rastreador sigiloso de Perplexity Esta es la historia aleccionadora más importante para quien confíe solo en `robots.txt`: en agosto de 2025, Cloudflare descubrió a [Perplexity usando rastreadores sigilosos y no declarados](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/) que se hacían pasar por Chrome en macOS. Cuando se bloqueaban mediante su user-agent declarado `PerplexityBot`, cambiaban a una huella de navegador genérica, usaban IPs rotativas repartidas en varios ASN y, en algunos casos, ni siquiera solicitaban `robots.txt`. Cloudflare observó entre 3 y 6 millones de peticiones sigilosas diarias y retiró a Perplexity de la lista de bots verificados. Si te interesa cómo funciona la búsqueda con IA de Perplexity y su enfoque, echa un vistazo a nuestro artículo sobre [el enfoque de Perplexity en la búsqueda con IA](/es/perplexity/). La lección: `robots.txt` es una petición cortés, no una barrera de seguridad. La aplicación técnica a nivel de WAF es lo único que realmente detiene a los malos actores. ## Método 1: bloquea los rastreadores de IA con el interruptor de un clic de Cloudflare (recomendado) Este es el método más sencillo y eficaz. Cloudflare introdujo en julio de 2024 un interruptor de un clic que bloquea automáticamente los scrapers y rastreadores de IA conocidos, sin necesidad de crear reglas de WAF. Está disponible en el **plan gratuito** y Cloudflare actualiza las huellas de bots a medida que surgen nuevos rastreadores. **Paso 1: activa el proxy de Cloudflare** Asegúrate de que los registros DNS de tu sitio tengan la nube naranja (proxy) activada y no estén en modo solo DNS. Si necesitas ayuda para configurar Cloudflare por primera vez, mira cómo [desplegar tu sitio en Cloudflare](/es/desplegar-astrojs-cloudflare/) o [crear un blog en el nivel gratuito de Cloudflare](/es/crear-blog-astro-gratis/). **Paso 2: ve a Security > Bots** En el panel de Cloudflare, ve a **Security > Bots**. Verás la sección **"AI Scrapers and Crawlers"**. **Paso 3: activa "Block AI bots"** Activa el interruptor. Eso es todo, Cloudflare se encarga del resto. **Paso 4: verifica que funciona** Espera 5 minutos y prueba: ```bash curl -s -o /dev/null -w "%{http_code}" -A "GPTBot/1.0" https://yoursite.com # Debería devolver 403 o 406 ``` También puedes revisar el panel **Security > Analytics** al cabo de unas horas para ver cuántas peticiones de IA se han bloqueado. Cloudflare ha bloqueado más de 416.000 millones de peticiones de bots de IA desde julio de 2025, y 2,5 millones de sitios web han activado esta protección. Es el camino más rápido: un clic y estás cubierto. Cloudflare actualiza automáticamente las firmas de bots a medida que aparecen nuevos rastreadores. ## Método 2: políticas granulares de bots de IA de Cloudflare (Search, Agent, Training) Si quieres un control más fino sobre qué tipos de bots de IA pueden acceder a tu sitio, el nuevo sistema de tres categorías de Cloudflare (lanzado en julio de 2026) te da exactamente eso. Sustituye al antiguo preajuste gestionado "Block AI bots". Ve a **Security Settings > Configure AI bot policies** en tu panel de Cloudflare. Verás tres categorías: | Categoría | Qué controla | Valor por defecto (desde el 15 de septiembre de 2026) | |----------|-----------------|------------------------------| | **Search** | Rastreadores que indexan contenido para la búsqueda con IA (OAI-SearchBot, etc.) | Allow | | **Agent** | Agentes activados por el usuario que actúan en tiempo real (ChatGPT-User, etc.) | Block on pages with ads | | **Training** | Rastreadores que recopilan datos para el entrenamiento de modelos (GPTBot, ClaudeBot, etc.) | Block on pages with ads | Para cada categoría puedes elegir: - **Block**: bloquear en todas las páginas - **Block on pages with ads**: término medio (nuevo valor por defecto para Training y Agent) - **Allow**: dejarlos pasar La opción "Block on pages with ads" es ingeniosa: permite a los bots de IA acceder a tus páginas de contenido (que pueden generar tráfico) mientras los bloquea en las páginas monetizadas (donde te costarían ingresos publicitarios sin aportar nada). Para comprobar los resultados, ve a **Security > Analytics** después de 24 horas y revisa las peticiones bloqueadas frente a las permitidas por categoría. El antiguo preajuste "Block AI bots" quedará obsoleto el 15 de septiembre de 2026. Si lo estás usando actualmente, migra al nuevo sistema de tres categorías antes de esa fecha. El método antiguo usaba una regla personalizada de WAF con la expresión `(cf.verified_bot_category eq "AI Crawler")`. Todavía funciona y no consume tus espacios de reglas personalizadas de forma diferente, pero está siendo reemplazado por el nuevo sistema de tres categorías, que ofrece un control más fino (bloquear el entrenamiento por separado de la búsqueda). Si ya tienes esta regla desplegada, no pasa nada por mantenerla, pero el nuevo sistema en Security Settings > Configure AI bot policies es el camino recomendado de aquí en adelante. ## Método 3: AI Labyrinth: gasta los recursos de los bots en lugar de bloquearlos AI Labyrinth de Cloudflare (lanzado en marzo de 2025) adopta un enfoque distinto: en lugar de limitarse a bloquear bots, les sirve **contenido señuelo generado por IA** a través de enlaces ocultos que ningún humano pulsaría jamás. Esto consigue tres cosas: 1. **Desperdicia los recursos de cómputo del rastreador** procesando contenido falso 2. **Actúa como honeypot**: si un rastreador sigue los enlaces ocultos, Cloudflare sabe que es un bot 3. **Alimenta los modelos de ML de Cloudflare** para identificar nuevos patrones de bots más rápido Está disponible en el **plan gratuito** como interruptor opcional en **Security > Bots** (la misma página que el interruptor de AI Scrapers del método 1). AI Labyrinth funciona junto al bloqueo; no es un sustituto. Actívalo después de habilitar el método 1 para una máxima defensa en profundidad. Los enlaces ocultos son invisibles para los visitantes humanos, así que el impacto en la experiencia de usuario de tu sitio es cero. Es el tipo de defensa que me gusta: no se limita a rechazar el tráfico malo, sino que hace el trabajo del atacante más difícil y más caro de forma activa. ## Método 4: bloquea los rastreadores de IA con robots.txt (lista completa) `robots.txt` es el estándar web para declarar qué rastreadores pueden acceder a tu contenido. Ahora tiene relevancia legal en la UE bajo la Ley de IA (más sobre esto en el método 6). Pero tenlo en cuenta: `robots.txt` es una petición, no una barrera. Los bots bien comportados lo respetan. Los malos actores, no. Combínalo siempre con Cloudflare o con bloqueo a nivel de servidor. Aquí tienes un `robots.txt` con anotaciones según su propósito que cubre los principales rastreadores de IA: ```txt # === RASTREADORES DE ENTRENAMIENTO DE IA (BLOQUEAR) === # Estos bots recopilan datos para entrenar modelos, sin beneficio de referencia User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: meta-externalfetcher Disallow: / User-agent: Bytespider Disallow: / User-agent: Amazonbot Disallow: / User-agent: cohere-ai Disallow: / User-agent: DeepSeekBot Disallow: / User-agent: Diffbot Disallow: / User-agent: Applebot-Extended Disallow: / # === RASTREADORES DE BÚSQUEDA DE IA (CONSIDERA PERMITIRLOS) === # Pueden generar tráfico de referencia; descomenta para bloquearlos # User-agent: OAI-SearchBot # Disallow: / # User-agent: Claude-SearchBot # Disallow: / # User-agent: PerplexityBot # Disallow: / # User-agent: DuckAssistBot # Disallow: / # === AGENTES DE USUARIO DE IA (CONSIDERA PERMITIRLOS) === # Son activados por el usuario, no rastreo masivo # User-agent: ChatGPT-User # Disallow: / # User-agent: Claude-User # Disallow: / # User-agent: Perplexity-User # Disallow: / # User-agent: MistralAI-User # Disallow: / ``` Si solo quieres bloquear todos los rastreadores de IA conocidos de una vez, sin decidir bot a bot: ```txt User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-User Disallow: / User-agent: Claude-SearchBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Gemini-Deep-Research Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Perplexity-User Disallow: / User-agent: meta-externalagent Disallow: / User-agent: meta-externalfetcher Disallow: / User-agent: Bytespider Disallow: / User-agent: Amazonbot Disallow: / User-agent: CCBot Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: DeepSeekBot Disallow: / User-agent: MistralAI-User Disallow: / User-agent: cohere-ai Disallow: / User-agent: DuckAssistBot Disallow: / User-agent: Diffbot Disallow: / ``` El [repositorio comunitario ai-robots-txt](https://github.com/ai-robots-txt/ai.robots.txt) (más de 4.000 estrellas) mantiene una lista aún más completa con más de 170 bots. También proporciona configuraciones listas para usar para Nginx, Apache, Caddy y HAProxy. robots.txt es una petición cortés, no una barrera de seguridad. Perplexity fue descubierto ignorándolo por completo y suplantando huellas de navegador. Combínalo siempre con Cloudflare (métodos 1-3) o con bloqueo a nivel de servidor (método 5) para una protección real. Causas habituales: - **Los rastreadores cachean robots.txt**: los principales rastreadores pueden tardar entre 24 y 48 horas en volver a solicitarlo y respetar los cambios - **El archivo no está en la URL raíz**: `robots.txt` debe estar en `https://yourdomain.com/robots.txt`, no en un subdirectorio - **Errores de sintaxis**: un archivo mal formado puede ignorarse por completo. Usa el probador de robots.txt de Google en Search Console para validarlo - **Tu robots.txt está bloqueado**: si tienes una regla de WAF que bloquea todos los bots, tampoco pueden leer el archivo (el interruptor de Cloudflare gestiona esto correctamente: permite el acceso a robots.txt) ## Método 5: bloqueo de rastreadores de IA a nivel de servidor (Nginx, Apache, Caddy) Para los que se autoalojan en su propio VPS, el bloqueo por user-agent a nivel de servidor añade defensa en profundidad por debajo de la capa WAF. Si te autoalojas en un VPS como [Hetzner Cloud](https://go.bitdoze.com/hetzner), esta es tu última línea de defensa cuando los bots evitan Cloudflare o no pasan por él. _Los precios de los VPS subieron en general en 2026: si te estás replanteando un servidor alquilado, mira [qué cambió y cuándo gana un mini PC](/es/subidas-precios-vps/)._ El repositorio comunitario ai-robots-txt proporciona archivos de configuración listos para los tres principales servidores web. Para [proteger tu VPS contra el tráfico malicioso](/es/crowdsec-servidor-seguro/) de forma más amplia, combina esto con herramientas como CrowdSec. **Opción A: bloque if en línea (sencillo)** ```nginx # Añade dentro de tu bloque server {} if ($http_user_agent ~* "(GPTBot|ChatGPT-User|ClaudeBot|Claude-User|CCBot|PerplexityBot|Bytespider|Amazonbot|meta-externalagent|Google-Extended|OAI-SearchBot|DeepSeekBot|cohere-ai|Diffbot|Applebot-Extended)") { return 403; } ``` **Opción B: archivo de inclusión comunitario (mantenido)** Descarga la configuración mantenida por la comunidad e inclúyela: ```bash # Descarga la lista más reciente curl -o /etc/nginx/conf.d/nginx-block-ai-bots.conf \ https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/main/nginx-block-ai-bots.conf ``` ```nginx # Añade en tu bloque server {} include /etc/nginx/conf.d/nginx-block-ai-bots.conf; ``` Tras cualquiera de las dos opciones, prueba y recarga: ```bash nginx -t && systemctl reload nginx ``` Añade a tu `.htaccess` o a la configuración del virtual host: ```apache RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (GPTBot|ChatGPT-User|ClaudeBot|Claude-User|CCBot|PerplexityBot|Bytespider|Amazonbot|meta-externalagent|Google-Extended|DeepSeekBot|cohere-ai) [NC] RewriteRule .* - [F,L] ``` Añade un bloque de ruta en tu `Caddyfile`: ``` @blocked_ai_bots { header_regexp User-Agent "(GPTBot|ChatGPT-User|ClaudeBot|Claude-User|CCBot|PerplexityBot|Bytespider|Amazonbot|meta-externalagent|Google-Extended|DeepSeekBot|cohere-ai)" } handle @blocked_ai_bots { abort } ``` El bloqueo a nivel de servidor es tu última línea de defensa. Los bots pueden suplantar el user-agent, así que no debería ser tu único método. Combínalo con Cloudflare (métodos 1-3) para una protección completa. Revisa estos problemas habituales: - Ejecuta `nginx -t` para verificar que tu configuración no tiene errores de sintaxis - Asegúrate de que el bloque `if` está dentro del contexto `server {}` correcto (no dentro de un bloque `location {}`) - Comprueba si hay bloques `location` conflictivos que puedan anular la regla a nivel de servidor - Verifica que nginx se recargó de verdad: `systemctl status nginx` - Prueba primero en local: `curl -A "GPTBot/1.0" http://localhost` antes de probar a través de Cloudflare ## Método 6: TDM Reservation Protocol y exclusiones legibles por máquina Han surgido varios estándares web nuevos para dar a los editores formas legibles por máquina de declarar los derechos de uso para IA. Complementan a `robots.txt` y tienen un peso legal creciente, sobre todo en la UE. ### TDM Reservation Protocol (estándar del W3C) El TDM Reservation Protocol permite declarar reservas de derechos mediante cabeceras de respuesta HTTP. Añade esto a tu configuración de Nginx: ```nginx # Añade a tu bloque server {} o location {} add_header tdm-reservation "1"; add_header tdm-policy "https://yourdomain.com/tdm-policy.json"; ``` Para Apache: ```apache Header set tdm-reservation "1" ``` Tiene relevancia legal bajo la Ley de IA de la UE: los proveedores de GPAI deben detectar y respetar estas señales. ### Cloudflare Content-Signal Si usas el `robots.txt` gestionado de Cloudflare, ahora antepone automáticamente una directiva Content-Signal: ``` User-agent: * Content-Signal: search=yes,ai-train=no,use=reference Allow: / ``` El parámetro `use=` indica los niveles de uso del contenido: `immediate`, `reference` o `full`. Es la forma que tiene Cloudflare de hacer que las exclusiones sean legibles por máquina sin requerir configuración manual. ### Otros estándares emergentes - **ai.txt**: estándar propuesto para permisos de uso de IA (no-training, no-inference, Allow-RAG). Se coloca en la raíz del sitio o en `/.well-known/ai.txt` - **llms.txt**: un archivo Markdown en la raíz del sitio que da a los LLM un resumen curado del contenido clave. No es una herramienta de bloqueo: es una herramienta de SEO para IA que controla cómo los LLM entienden tu sitio - **RSL 1.0 (Really Simple Licensing)**: estándar abierto (diciembre de 2025) que complementa `robots.txt` con categorías de licencia y modelos de pago por contribución. Respaldado por Yahoo, Ziff Davis y O'Reilly Media Si estás en la UE, un `robots.txt` bien configurado tiene peso legal bajo el artículo 53 de la Ley de IA (en vigor desde el 2 de agosto de 2025). El Tribunal Superior Regional de Hamburgo confirmó en diciembre de 2025 que las exclusiones en lenguaje natural dentro de las condiciones de uso son insuficientes: las exclusiones deben ser legibles por máquina. En EE. UU., `robots.txt` no tiene aplicación legal directa bajo la legislación actual. En cualquier caso, la aplicación técnica importa más que las amenazas legales. ## Método 7: bloqueo por IP y métodos complementarios El bloqueo por IP es el truco más antiguo del manual, pero el menos práctico a escala: las empresas de IA usan IPs en la nube que rotan con frecuencia. Aun así, tiene su lugar como método complementario. Si ves tráfico intenso desde IPs concretas, puedes bloquearlas a nivel de firewall. Consulta la [documentación de bots de OpenAI](https://platform.openai.com/docs/bots) para ver los rangos de IP actuales (cambian con el tiempo). ```bash # Ejemplo — verifica los rangos actuales antes de ejecutar sudo ufw deny proto tcp from 23.98.142.176/28 to any port 80 sudo ufw deny proto tcp from 23.98.142.176/28 to any port 443 sudo ufw deny proto tcp from 40.84.180.224/28 to any port 80 sudo ufw deny proto tcp from 40.84.180.224/28 to any port 443 ``` **Advertencia:** los rangos de IP cambian. Consulta la documentación para ver los valores actuales. Ten en cuenta también que si usas Docker, los contenedores pueden saltarse las reglas de `ufw`: consulta nuestra guía sobre [reglas de firewall que funcionan de verdad](/es/docker-evita-firewall/) con Docker. **Identificar las IPs:** busca tráfico de rastreadores de IA en los logs de tu servidor web: ```bash grep -E "GPTBot|ClaudeBot|CCBot|Bytespider" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn ``` Si estás en Cloudflare, ve a **Security > WAF > Tools** para añadir reglas de acceso por IP. Puedes bloquear IPs o rangos concretos sin consumir espacios de reglas de WAF. Introduce la IP, selecciona "Block" y añade una nota con el motivo. Es útil para bloquear IPs abusivas concretas que hayas identificado en tus logs, en lugar de intentar bloquear rangos enteros de empresas de IA. ### Otros métodos complementarios **Metaetiquetas.** Las metaetiquetas `noai` y `noimageai` siguen siendo válidas. Añádelas al `` de tu HTML: ```html ``` Las empresas de IA que cumplen las normas las comprueban, pero técnicamente son fáciles de ignorar. **Plugins de WordPress.** Si usas WordPress: - **Block AI Crawlers** (de bobmatyas, actualizado en noviembre de 2025): genera un `robots.txt` que bloquea los rastreadores de IA habituales y añade las metaetiquetas `noai`/`noimageai` - **Known Agents** (antes Dark Visitors): sigue el panorama de los rastreadores de IA y genera tu `robots.txt` automáticamente Para más opciones específicas de WordPress, consulta nuestra guía sobre [plugins anti-scraping para WordPress](/es/mejores-plugins-web-scraping-wordpress/). **Usuarios de Netlify.** Netlify ofrece una extensión **User Agent Blocker** (basada en Edge Functions) que bloquea rastreadores de IA desde el panel del proyecto; vale la pena revisarla si alojas sitios estáticos allí. **Bloqueo a nivel de DNS.** También puedes [bloquear el tráfico no deseado a nivel de DNS con NextDNS](https://go.bitdoze.com/nextdns), que añade otra capa de protección antes de que las peticiones lleguen siquiera a tu servidor. Es lo esperado. El bloqueo por IP tiene limitaciones fundamentales: - Las empresas de IA usan infraestructura en la nube (AWS, Azure, GCP) con IPs que rotan - Los bots pueden usar proxies residenciales o VPN para cambiar de IP - La suplantación del user-agent hace que la misma IP pueda aparecer como cualquier navegador - Bloquear rangos de IP puede bloquear accidentalmente servicios legítimos en la nube Por eso el bloqueo por IP es complementario, no principal. Usa Cloudflare (métodos 1-3) para un bloqueo fiable. ## Cómo verificar que tus bloqueos de rastreadores de IA funcionan No actives las protecciones y des por hecho que funcionan. Así es como se confirma: **Prueba con curl usando user-agents de bots de IA:** ```bash # Comprueba si GPTBot está bloqueado curl -s -o /dev/null -w "%{http_code}" -A "GPTBot/1.0" https://yoursite.com # Debería devolver 403 o 406 # Comprueba si robots.txt sigue accesible (debería estarlo) curl -s -A "GPTBot/1.0" https://yoursite.com/robots.txt # Debería devolver el contenido de tu robots.txt # Prueba ClaudeBot curl -s -o /dev/null -w "%{http_code}" -A "ClaudeBot/1.0" https://yoursite.com # Debería devolver 403 ``` Si los comandos curl devuelven `403`, tu bloqueo funciona. Si devuelven `200`, algo no está bien configurado: revisa el interruptor de Cloudflare, el estado de la recarga de Nginx o la sintaxis de tu `robots.txt`. **Revisa Security Analytics de Cloudflare:** Ve a **Security > Analytics** en el panel de Cloudflare. Al cabo de 24 horas deberías ver las peticiones bloqueadas en la sección "Bot Traffic". Filtra por categoría de bot para ver el tráfico de entrenamiento, búsqueda y agentes por separado. **Busca en los logs del servidor:** ```bash # Busca accesos de rastreadores de IA en las últimas 24 horas grep -E "GPTBot|ClaudeBot|CCBot|Bytespider|PerplexityBot" /var/log/nginx/access.log | tail -20 # Cuenta los códigos de estado devueltos grep -E "GPTBot|ClaudeBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c ``` **Nota:** si actualizaste `robots.txt`, los rastreadores que cumplen las normas lo cachean durante 24-48 horas antes de volver a solicitarlo. No esperes resultados inmediatos de los cambios en `robots.txt`. ## El futuro: Pay Per Crawl y la monetización del contenido para IA Cloudflare presentó **Pay Per Crawl** (beta privada, julio de 2025) como una tercera opción más allá de "permitir" o "bloquear": **monetizar**. En lugar de bloquear los rastreadores de IA directamente, los editores pueden cobrar por petición. Usa HTTP 402 (Payment Required), Web Bot Auth con firmas Ed25519 y Cloudflare actúa como Merchant of Record. La idea: las empresas de IA obtienen acceso a contenido de calidad, los editores cobran y Cloudflare gestiona la infraestructura de pagos. Para los operadores en solitario que han pasado años construyendo bibliotecas de contenido, esto podría convertirse con el tiempo en una fuente de ingresos. Pay Per Crawl está en beta privada a fecha de julio de 2026. Puedes configurarlo desde tu panel de Cloudflare, pero su adopción generalizada depende de que las empresas de IA se apunten. Actualizaremos esta guía cuando esté disponible con carácter general. ## Conclusión: construye una defensa por capas contra los rastreadores de IA Ningún método bloquea a todos los rastreadores de IA. El escándalo del rastreador sigiloso de Perplexity demostró que incluso un `robots.txt` bien configurado puede ignorarse. Esta es la pila de defensa que recomiendo: Combinar Cloudflare (métodos 1-3) con `robots.txt` (método 4) cubre el 99% de las amenazas para la mayoría de los sitios. Quienes se autoalojan en un VPS deberían añadir el bloqueo a nivel de servidor (método 5) como red de seguridad. Si va en serio lo de controlar quién accede a tu contenido, el enfoque por capas funciona. Para una protección más amplia de tu presencia en línea, también puedes [bloquear el tráfico no deseado a nivel de DNS](/es/bloquear-anuncios-malware-dns/) y explorar [soluciones de privacidad autoalojadas](/es/searxng-busqueda-privada-autoalojada/) que mantienen tus datos bajo tu control.