Crawlers IA : ce qu'il faut réellement configurer (et ce qui ne sert à rien)

Un fichier revient dans toutes les checklists GEO depuis deux ans : le llms.txt. J'en recommandais moi-même la création dans un brouillon d'article invité, avant de vérifier ce que les crawlers en font réellement. La réponse m'a fait corriger le texte avant publication : dans leur écrasante majorité, ils l'ignorent.

Ce que les crawlers IA respectent vraiment

GPTBot (OpenAI), ClaudeBot (Anthropic) et PerplexityBot documentent publiquement leurs user-agents et respectent les règles robots.txt classiques, au même titre que Googlebot. Il faut distinguer deux familles : les crawlers d'entraînement (GPTBot, ClaudeBot, anthropic-ai), qui alimentent les modèles de fondation, et les crawlers de recherche en temps réel (OAI-SearchBot pour ChatGPT Search, PerplexityBot, Claude-SearchBot), qui indexent en continu pour répondre aux requêtes des utilisateurs. Un site qui vise la citation a intérêt à distinguer les deux : bloquer l'entraînement tout en autorisant l'indexation pour la recherche est une configuration robots.txt tout à fait standard, ligne par user-agent.

La contrepartie : une directive ne fonctionne que si le crawler la lit et la respecte. Bytespider et le crawler furtif de Perplexity ont tous deux été documentés en train d'ignorer le robots.txt, et un user-agent peut être usurpé. Le fichier reste une norme, pas une garantie, et pour les crawlers non conformes, la seule vraie défense se joue au niveau du serveur ou du WAF.

Le llms.txt : ce que les chiffres montrent

Le llms.txt liste, en Markdown, les pages qu'un site juge prioritaires avec un résumé de leur contenu, sur le modèle d'un robots.txt pensé pour les modèles de langage plutôt que pour les moteurs de recherche. Il s'est répandu vite : une étude SE Ranking sur 300 000 domaines, publiée en novembre 2025, chiffre son adoption à environ 10%. Une bonne partie de ce volume vient d'un déploiement automatique plutôt que d'un choix éditorial : Shopify l'a activé par défaut sur ses millions de boutiques en ligne en mai 2026, ce qui gonfle mécaniquement les comptages bruts.

Le problème n'est pas l'adoption, c'est l'usage qui en est fait à l'autre bout. Une analyse portant sur plus de 500 millions de visites de bots IA sur 90 jours n'a relevé que 408 requêtes ciblant directement un llms.txt, un volume négligeable au regard du trafic total de ces crawlers. GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot et Google-Extended crawlent l'écrasante majorité du temps le HTML directement, sans passer par le llms.txt. Et sur le critère qui compte le plus, l'étude SE Ranking ne montre aucun effet mesurable du llms.txt sur le taux de citation dans les réponses génératives, à volume de contenu comparable.

Ce n'est pas un fichier inutile. C'est un fichier dont l'utilité réelle aujourd'hui est éditoriale et organisationnelle : un résumé propre de son propre site, utile pour les agents d'IDE (Cursor, Continue, Cline) et certaines intégrations MCP qui le consultent effectivement. Ce n'est pas, à ce jour, un levier qui fait basculer la visibilité dans ChatGPT ou Perplexity.

agents.json : le standard dont la presse ne parle pas

Pendant que llms.txt occupait l'attention éditoriale, un autre format progressait plus discrètement : agents.json, pensé pour les agents transactionnels, les assistants d'achat et les couches d'intégration qui ont besoin de savoir quelles actions un site expose (rechercher, réserver, acheter), pas seulement quel contenu le lit. La couverture presse 2026 des standards d'agents IA le mentionne peu, ce qui ne veut pas dire qu'il est sans usage : c'est un signal que le paysage des standards agentiques est encore en train de se stabiliser, avec plusieurs formats qui se chevauchent (agents.json, agents.md, llms.txt) sans qu'aucun ne se soit imposé comme référence unique. Shopify a d'ailleurs fait le choix inverse de son propre déploiement llms.txt en mai 2026, en établissant agents.md comme surface canonique de découverte sur ses boutiques, llms.txt n'y jouant plus qu'un rôle de miroir.

Mon propre setup, sans le présenter comme la solution

Ce site sert un robots.txt volontairement simple : une seule règle, qui autorise tous les user-agents sur l'ensemble du site, à l'exception des versions brutes Markdown des articles de blog. Le choix est délibéré, pas une négligence : ce site cherche autant la visibilité dans la recherche classique que la citation par les moteurs génératifs, il n'a donc aucune raison de bloquer sélectivement l'entraînement ou l'indexation en temps réel.

Il sert aussi un llms.txt, un llms-full.txt et un agents.json, mis en place en juillet 2026. Je les garde en connaissance de cause : le coût de publier ces trois fichiers correctement une fois est de quelques heures, le coût de parier sur le mauvais standard et devoir tout refaire dans un an est plus élevé. Mais je ne me raconte pas d'histoire sur ce que fait réellement le llms.txt aujourd'hui : c'est une documentation propre pour moi et pour les rares outils qui la consultent, pas un signal qui change quoi que ce soit au comportement de GPTBot ou ClaudeBot.

Ce que je recommande concrètement

Configurer et vérifier son robots.txt en premier, en distinguant explicitement les crawlers d'entraînement des crawlers de recherche si l'un des deux usages pose un problème. Publier un llms.txt et un agents.json si le coût de le faire est faible, sans en attendre un effet mesurable sur les citations à court terme. Et revoir cette configuration dans six à douze mois : l'adoption des crawlers IA sur ces fichiers évolue vite, et ce qui est vrai en 2026 ne le sera pas nécessairement en 2027.

Sources : dataimpulse, robots.txt et crawlers IA en 2026 ; codersera, guide llms.txt 2026 ; Weaverse, agents.md vs llms.txt chez Shopify ; configuration robots.txt, llms.txt et agents.json de ce site.

Pour aller plus loin : le GEO, c'est quoi ? La différence avec le SEO classique