Bloquer ou laisser passer les crawlers IA : l'arbitrage économique de chaque éditeur

Tout le conseil GEO part d'un postulat : être crawlé, c'est un bien. Or être crawlé a un coût, et ce coût devient chiffrable. Un éditeur qui veut être cité par une IA générative doit d'abord regarder ce que ce crawl lui rapporte réellement en retour, et la réponse, pour beaucoup, est proche de zéro.

Le déséquilibre, avec des chiffres

Le trafic des bots IA a été multiplié par 15 en un an, jusqu'à mi-2025. Les requêtes du crawler ChatGPT-User ont bondi de 2825% sur la même période, jusqu'à représenter 1,3% du trafic total de crawl. Mais ce qui frappe le plus, ce sont les ratios crawl-vers-référencement : pour chaque visiteur humain qu'un site reçoit en retour via un clic depuis une réponse IA, Perplexity crawle plus de 700 pages, et OpenAI en crawlait plus de 3700 en mars 2025. Un éditeur donne un volume massif de contenu à indexer, et reçoit en échange une fraction infime de trafic de retour. C'est ce déséquilibre, mesuré et documenté, qui a poussé Cloudflare à agir.

Ce que Cloudflare a construit

Cloudflare a lancé AI Crawl Control en disponibilité générale en août 2025, puis une extension pay-per-crawl qui s'appuie sur un code HTTP largement oublié du web, le 402 Payment Required. Un éditeur fixe un prix par requête sur tout son domaine ; un crawler peut découvrir ce prix en recevant une réponse 402 avec un en-tête indiquant le tarif, ou déclarer par avance le prix qu'il est prêt à payer. Une transaction réussie renvoie un 200 classique avec un en-tête confirmant le montant facturé.

L'ampleur du dispositif est déjà notable : plus d'un milliard de réponses 402 sont envoyées chaque jour à des crawlers IA sur l'ensemble du réseau Cloudflare, chiffre communiqué en avril 2026. Sept organisations ont rejoint le dispositif tôt : Condé Nast, Time, l'Associated Press, BuzzFeed, Reddit, Pinterest et Stack Overflow. Une variante plus large, Pay Per Use, rémunère un éditeur quand son contenu apparaît dans un résultat IA ou quand un agent achète une information premium : Ceramic.ai et You.com en sont les deux premiers partenaires IA nommés publiquement.

À partir du 15 septembre 2026, Cloudflare ira plus loin sur les nouveaux comptes : les crawlers à usage mixte (qui servent à la fois la recherche classique et l'entraînement ou les agents) seront bloqués par défaut sur les pages financées par la publicité, pour les nouveaux clients, les nouveaux sites de clients existants, et l'ensemble des comptes gratuits. Les clients existants sur un plan payant peuvent ajuster ce réglage.

Qui n'a toujours pas signé

Aucun des grands laboratoires de fondation, OpenAI, Anthropic, Google DeepMind ou Meta, n'a annoncé d'accord de paiement dans le cadre de ce dispositif. Le PDG de Cloudflare, Matthew Prince, le formule lui-même comme une incitation plutôt qu'un fait acquis : l'objectif affiché est d'encourager les crawlers à usage mixte à séparer clairement la recherche de l'entraînement et de l'usage agentique, pas de refléter des accords déjà en place. Google propose de son côté Google-Extended, un mécanisme d'opt-out déjà existant, pas un dispositif de paiement.

Concrètement : les acteurs qui payent aujourd'hui sont des produits de recherche IA de taille moyenne (Ceramic.ai, You.com), pas les modèles qui pèsent le plus dans le volume de crawl et dans les réponses citées par les utilisateurs finaux. C'est précisément le nœud du dilemme : bloquer par défaut protège le contenu, mais prive aussi un site des citations ChatGPT ou Perplexity qui font l'intérêt du GEO, puisque ce sont justement les labs qui n'ont signé aucun accord de paiement qui produisent ces citations.

L'arbitrage réel

Un grand éditeur avec un volume de contenu et une audience suffisants pour peser dans une négociation a un intérêt réel à explorer le blocage par défaut ou le pay-per-crawl : le rapport de force lui permet d'attendre une contrepartie sans perdre grand-chose entre-temps. Un site indépendant ou une PME, à l'inverse, a structurellement plus à gagner d'une visibilité GEO large qu'à protéger un contenu que personne ne songe à lui racheter. Pour ce second cas, qui couvre la grande majorité des sites, la vraie question n'est pas de bloquer ou payer, mais de reprendre le distinguo déjà utile côté robots.txt : autoriser les crawlers de recherche en temps réel qui génèrent des citations, et réserver le blocage aux seuls crawlers d'entraînement pur si une objection spécifique le justifie (propriété intellectuelle, positionnement concurrentiel).

Ce que je recommande concrètement

Pour un site indépendant ou une PME sans levier de négociation réel : ne pas bloquer par défaut, parce que la visibilité GEO reste plus précieuse que la protection d'un contenu qu'aucun acteur ne négociera individuellement. Réserver un blocage ciblé aux crawlers d'entraînement si une raison spécifique le justifie, en laissant passer les crawlers de recherche en temps réel qui produisent les citations recherchées. Pour un éditeur avec un volume et une audience qui pèsent réellement : évaluer le pay-per-crawl et le Pay Per Use de Cloudflare en connaissance de cause, sachant que les partenaires IA confirmés aujourd'hui sont des produits de recherche de taille moyenne, pas les laboratoires qui génèrent le plus de citations visibles pour l'utilisateur final.

Sources : Forbes, Cloudflare fait payer l'IA pour le contenu qu'elle consomme ; TechCrunch, la nouvelle politique Cloudflare pousse les IA à payer les éditeurs ; Cloudflare, introduction du pay-per-crawl ; Leadgen Economy, un milliard de 402 par jour.

Pour aller plus loin : crawlers IA : ce qu'il faut réellement configurer