Tech & Performance
ClaudeBot et robots.txt : les robots d’Anthropic
Les trois robots d’Anthropic et ce que change un blocage dans robots.txt : entraînement, requêtes d’utilisateurs, recherche. Comment relire le fichier de votre site.
Anthropic fait passer trois robots sur le web, avec trois usages distincts : l'entraînement de ses modèles, la consultation d'une page à la demande d'un utilisateur de Claude, et la recherche. Un fichier robots.txt peut nommer chaque robot séparément. Pour un robot sans groupe correspondant, les règles du groupe * s'appliquent si ce groupe existe ; sinon, aucune règle ne s'applique. Ce guide reprend la page du centre d'aide d'Anthropic et présente le fichier de make-sense.fr à titre d'exemple. Il complète nos articles sur les robots d'OpenAI et de Perplexity.
Les trois robots d'Anthropic
Anthropic écrit utiliser des robots différents pour laisser aux propriétaires de sites de la transparence et un choix. Voici ce que la page dit de chacun, traduit.
| Robot | Usage décrit par Anthropic | Si vous le désactivez |
|---|---|---|
ClaudeBot | Collecte du contenu web qui pourrait contribuer à l'entraînement de ses modèles d'IA générative | Signale que les contenus futurs du site doivent être exclus des jeux de données d'entraînement |
Claude-User | Soutient les utilisateurs de Claude : quand une personne pose une question à Claude, il peut consulter des sites avec cet agent | Empêche de récupérer votre contenu en réponse à une question d'utilisateur, ce qui peut réduire la visibilité du site dans la recherche web demandée par l'utilisateur |
Claude-SearchBot | Parcourt le web pour améliorer la qualité des résultats de recherche ; analyse le contenu pour renforcer la pertinence et l'exactitude des réponses | Empêche d'indexer votre contenu pour l'optimisation de la recherche, ce qui peut réduire la visibilité et l'exactitude du site dans les résultats de recherche des utilisateurs |
La page ne chiffre aucun effet d'un blocage sur la visibilité d'un site : elle écrit « peut réduire ». Toute promesse de résultat, dans un sens ou dans l'autre, ne vient donc pas de cette source.
La page précise qu'elle porte sur les robots d'exploration et de récupération d'Anthropic. Pour les navigateurs hébergés par Anthropic que Claude utilise afin d'accomplir des tâches pour ses utilisateurs, elle renvoie vers une autre page du centre d'aide, que cet article ne traite pas.
Ce qu'Anthropic dit de robots.txt
- Les robots respectent les signaux « do not crawl » exprimés par les directives standard de robots.txt.
- Ils respectent les technologies anti-contournement : Anthropic écrit ne pas chercher à contourner les CAPTCHA des sites qu'elle explore.
- Elle indique viser une exploration peu intrusive et prendre en compte Crawl-delay quand c'est approprié ; elle accepte cette extension non standard.
- Pour bloquer un robot sur tout un site, la page demande d'ajouter les lignes ci-dessous au robots.txt placé à la racine, pour chaque sous-domaine concerné.
User-agent: ClaudeBot
Disallow: /À notre lecture, le même modèle de groupe vaut pour Claude-User et Claude-SearchBot : on change le nom après User-agent. Sur les adresses IP, la page est précise : bloquer les adresses d'où opèrent les robots d'Anthropic peut ne pas fonctionner correctement ni assurer de façon persistante un refus, car cela l'empêche de lire le robots.txt. Elle renvoie vers une liste d'adresses publiée par Anthropic (claude.com/crawling/bots.json) : un robot dont l'adresse y figure vient d'Anthropic.
Le signal « pas d'entraînement » du 30 octobre 2026
La page contient une section sur ce point : à la date du 30 octobre 2026, Anthropic écrit avoir commencé à reconnaître un signal lisible par machine qui permet à un propriétaire de site d'exprimer une préférence sur l'usage de son contenu pour entraîner des modèles d'IA (« no AI training »). Elle indique le déployer progressivement sur l'ensemble de ses services et dans le monde entier, et précise que ce signal suit un brouillon fondé sur des travaux de l'IETF, dans son groupe de travail aipref : la manière dont elle le lit et l'applique peut donc évoluer. Pour ClaudeBot, la règle de priorité est écrite ainsi : si le robots.txt nomme ClaudeBot, Anthropic suit cette règle, même si le réglage général dit autre chose ; s'il ne le nomme pas, elle suit le réglage général. La section ne donne pas la syntaxe du signal : nous ne la reproduisons pas.
Relire son propre fichier : l'exemple de make-sense.fr
Le robots.txt de ce site est généré par le fichier app/robots.ts. Il contient un groupe User-Agent: * et un groupe par robot nommé, tous avec Allow: / et les mêmes exclusions : /deal/, /decks/ et /tools/. Dans cette liste, ClaudeBot figure, mais Claude-User et Claude-SearchBot n'y sont pas nommés. À notre avis, ils retombent donc sur le groupe *, qui autorise aussi tout sauf ces trois dossiers : le résultat est celui que nous voulons, mais il tient à une règle générique plutôt qu'à une ligne écrite pour eux. Nommer les trois robots rendrait ce choix lisible pour la personne qui reprendra le fichier. Comme ClaudeBot y est nommé, c'est la ligne qui le concerne, et non un réglage général, que la règle de priorité décrite plus haut dit suivre.
Trois situations, trois réglages possibles
Les choix suivants sont notre lecture de la page, pas une recommandation d'Anthropic. Ils tiennent au fait que les trois robots s'adressent séparément.
- Vous voulez que Claude puisse consulter votre site : laissez Claude-User et Claude-SearchBot autorisés, puisque la page associe leur désactivation à une baisse possible de visibilité.
- Vous refusez l'entraînement mais voulez rester consultable : bloquez ClaudeBot seul, et gardez les deux autres autorisés.
- Vous voulez bloquer ces trois robots : créez pour chacun un groupe User-agent suivi de Disallow: /. Sans groupe correspondant, un robot suit le groupe *, si celui-ci existe ; sinon, aucune règle ne s'applique.
Avant de modifier le fichier
- Lire le robots.txt de chaque sous-domaine : la page demande de répéter la règle pour chacun.
- Chercher, dans les journaux du serveur ou du CDN, les noms de robots qui passent réellement. C'est un relevé qui ne touche à rien sur le site.
- Vérifier que le pare-feu ou la protection anti-bot ne bloque pas par adresse IP un robot que le fichier autorise : le réglage du fichier ne dit pas ce que fait la couche réseau.
- Noter la date de la modification et sa raison, pour pouvoir relire le choix plus tard.
Pour situer ces robots parmi les autres, voir notre article sur les AI Overviews de Google et notre définition du GEO. Pour le travail de Claude côté marketing, voir le guide Claude et MCP pour le marketing e-commerce.
Questions fréquentes sur les robots d'Anthropic
ClaudeBot est-il le robot qui lit mon site quand un utilisateur pose une question à Claude ?
La page d’Anthropic décrit ClaudeBot comme un robot qui collecte du contenu web pouvant contribuer à l’entraînement de ses modèles. Pour les questions d’utilisateurs, elle décrit un autre robot, Claude-User, qui peut consulter des sites.
Bloquer ClaudeBot retire-t-il mon site des réponses de Claude ?
La page d’Anthropic ne le dit pas. Elle indique qu’un blocage de ClaudeBot signale que les contenus futurs du site doivent être exclus des jeux de données d’entraînement, et elle associe une baisse possible de visibilité à la désactivation de Claude-User et de Claude-SearchBot.
Peut-on filtrer les robots d’Anthropic par adresse IP plutôt que par robots.txt ?
Anthropic avertit que ce réglage peut ne pas servir de refus : selon sa page, bloquer des adresses IP peut ne pas fonctionner correctement ou durablement, car cela l’empêche de lire le fichier robots.txt. Elle précise que l’exclusion passe par une modification du robots.txt.
Anthropic accepte-t-elle la directive Crawl-delay ?
D’après la page, oui, comme extension non standard de robots.txt, et prise en compte quand c’est approprié. La page donne l’exemple d’un groupe User-agent: ClaudeBot suivi de Crawl-delay: 1.
Sources documentaires
- Anthropic, centre d'aide : Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic, liste d'adresses : claude.com/crawling/bots.json.
- Fichier
app/robots.tsde make-sense.fr.