Guía 3 · Cobra a los agentes · Beta privada
Pay per crawl: cobrar por cada visita de un bot
Para quien publica contenido: cada crawler de IA puede entrar gratis, pagar por página o quedarse afuera. El precio viaja en un header y la respuesta es un 402.
Fuente: blog.cloudflare.com/introducing-pay-per-crawl
Tú decides por crawler
Pones un precio plano para todo el dominio y a cada crawler le das una de tres respuestas. Permitir: entra gratis.
Tres opciones por crawler
Cobrar: entra si paga el precio. Cloudflare es el *merchant of record*: factura y te paga.
Tres opciones por crawler
Bloquear: no entra ni pagando.
Si cobras a un crawler sin relación de pago, en la práctica es un bloqueo, pero le dice que pagar es posible.
Precio de ejemplo. Fuente: blog.cloudflare.com/introducing-pay-per-crawl
Primero el 402
El crawler pide la página sin saber el precio. Recibe HTTP 402 Payment Required con el header crawler-price.
El crawler pregunta el precio
Si acepta, repite el request con crawler-exact-price: «pago exactamente esto».
El crawler pregunta el precio
Cloudflare deja pasar el request, tu sitio responde normal y el crawler recibe 200 con crawler-charged.
Fuente: blog.cloudflare.com/introducing-pay-per-crawl
Un request en vez de dos
El crawler manda de entrada crawler-max-price. Si tu precio está por debajo, recibe 200 y se le cobra tu precio.
El crawler dice cuánto paga
Si tu precio es mayor, recibe 402. Cada request lleva una sola declaración: exacta o máxima.
Web Bot Auth · HTTP Message Signatures
Un user-agent se falsifica
Cualquiera puede decir «soy GPTBot». Para cobrarle a alguien hay que saber que es quien dice ser.
Cómo sabe Cloudflare quién paga
Con Web Bot Auth el crawler genera llaves Ed25519, publica la pública y firma cada request con los headers Signature-Agent, Signature-Input y Signature.
Cómo sabe Cloudflare quién paga
Cloudflare verifica la firma contra el directorio. Sin firma válida no hay pay per crawl.
Lo que hay que llevarse
- Para quién
Publishers que quieren cobrarle a los crawlers de IA.
- Cómo responde
Permitir (gratis), cobrar (402 + precio) o bloquear.
- Headers
crawler-price, crawler-exact-price, crawler-max-price, crawler-charged.
- Identidad
Web Bot Auth: cada request va firmado; sin firma no se cobra.
Para agentes: esta guía en Markdown en /es/agentes/pay-per-crawl.md o pidiendo la misma URL con Accept: text/markdown.
Lucas Leguizamo · CTO, FreeTicket