Robots d’exploration IA : qui visite votre site et comment les régler en 2026

robot d'exploration IA

Un robot d’exploration IA est un programme qui parcourt les sites web pour le compte d’une entreprise d’intelligence artificielle. Certains collectent des pages pour entraîner des modèles, d’autres construisent l’index d’un moteur de réponse comme ChatGPT Search ou Perplexity, d’autres encore lisent une page à la demande d’un utilisateur. Les distinguer permet de bloquer l’entraînement sans disparaître des réponses des IA.

La question est devenue pratique en 2026. Les listes de référence recensent désormais plusieurs dizaines d’agents d’IA, et de nouveaux apparaissent chaque mois : la veille du site Yapasdequoi en suit plus de 200 (Yapasdequoi, 2026). Un fichier robots.txt écrit il y a deux ans laisse probablement passer, ou bloque par erreur, des robots qui n’existaient pas encore.

Ce guide explique les trois familles de robots IA, présente les principaux à connaître, montre comment les régler dans le robots.txt et propose une politique adaptée à une entreprise qui veut être citée par les IA.

Quelles sont les trois familles de robots IA ?

Les robots d’exploration IA se rangent en trois familles, selon ce qu’ils font de vos pages. Cette distinction compte plus que le nom de l’éditeur.

Les robots d’entraînement collectent des pages pour constituer les données d’apprentissage des modèles. GPTBot chez OpenAI, ClaudeBot chez Anthropic ou CCBot de Common Crawl en font partie. Les bloquer empêche, pour l’avenir, l’usage de vos contenus dans l’entraînement, sans effet sur votre présence dans les réponses de recherche de ces services.

Les robots de recherche construisent l’index dans lequel puisent les moteurs de réponse au moment d’une question : OAI-SearchBot pour ChatGPT Search, Claude-SearchBot pour Claude, PerplexityBot pour Perplexity. Les bloquer vous retire des sources que ces assistants peuvent citer.

Les robots déclenchés par un utilisateur, enfin, lisent une page précise parce qu’une personne l’a demandée à l’assistant : ChatGPT-User, Claude-User, Perplexity-User. OpenAI indique que le robots.txt peut ne pas s’appliquer à ChatGPT-User, puisque c’est un utilisateur qui demande la page, et Perplexity-User ignore en général ces règles (Contextbolt, 2026).

Robot d’exploration IA qui parcourt un site web

Quels robots IA faut-il connaître ?

Les principaux robots d’exploration IA viennent d’une poignée d’éditeurs. Le tableau suivant indique leur rôle et l’effet d’un blocage.

Robot Éditeur Rôle Effet d’un blocage
GPTBot OpenAI Entraînement Plus d’usage pour l’entraînement, ChatGPT Search intact
OAI-SearchBot OpenAI Recherche Absence des résultats de ChatGPT Search
ClaudeBot Anthropic Entraînement Plus d’usage pour l’entraînement
Claude-SearchBot Anthropic Recherche Moins de citations dans Claude
PerplexityBot Perplexity Recherche Absence de l’index de Perplexity
Google-Extended Google Jeton de contrôle Plus d’usage pour Gemini, Google Search intact
Google-CloudVertexBot Google Agents Vertex AI Plus d’exploration pour ces agents
Applebot-Extended Apple Jeton de contrôle Plus d’usage pour l’IA d’Apple
CCBot Common Crawl Archive ouverte Absence des archives utilisées par de nombreux modèles

Google-Extended n’est pas un robot distinct : c’est un nom à utiliser dans le robots.txt pour refuser l’usage de vos pages par Gemini, sans toucher à Googlebot ni à votre référencement sur Google. Applebot-Extended joue le même rôle chez Apple.

Anthropic et OpenAI publient les plages d’adresses IP de leurs robots, ce qui permet de vérifier qu’un visiteur se présentant comme ClaudeBot ou GPTBot en est bien un. Les anciens noms anthropic-ai et Claude-Web ne sont plus utilisés.

Robots d’exploration IA et sites web d’entreprise

Qu’est-ce que Google-CloudVertexBot ?

Google-CloudVertexBot est le robot qui explore des sites pour les agents construits par les clients de Vertex AI, la plateforme d’IA de Google Cloud. Google l’a ajouté à sa documentation des robots d’exploration en septembre 2024, sans annonce, ce qui avait suscité des questions à l’époque.

Selon Google, ce robot explore les sites à la demande de leurs propriétaires, quand ils créent un agent Vertex AI qui s’appuie sur leur contenu. Il figure sur la page des robots courants de Google, et les règles écrites pour Googlebot s’appliquent aussi à lui. Pour le cibler seul dans le robots.txt, plusieurs listes de référence conseillent le nom CloudVertexBot.

Pour la plupart des entreprises, ce robot n’appelle aucune action : il ne visite pas un site au hasard pour entraîner un modèle public, et il ne joue aucun rôle dans le référencement sur Google.

Comment régler les robots IA dans le robots.txt ?

Le fichier robots.txt, placé à la racine du site, indique à chaque robot ce qu’il peut explorer. Les robots IA sérieux le respectent : OpenAI pour GPTBot et OAI-SearchBot, Anthropic pour ses trois robots, qui acceptent aussi la directive Crawl-delay pour ralentir leurs visites.

Pour refuser l’entraînement tout en restant visible dans les moteurs de réponse, on bloque les robots d’entraînement et les jetons de contrôle, et on laisse les autres passer par la règle générale :

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Ne bloquez jamais OAI-SearchBot, Claude-SearchBot ou PerplexityBot si vous voulez que les IA citent votre entreprise. Et ne bloquez jamais Googlebot pour viser une IA : vous disparaîtriez de Google.

Le robots.txt reste une convention, pas une protection technique. Un robot malveillant peut l’ignorer. Pour un contenu réellement confidentiel, seule une authentification protège l’accès.

Robot IA et contenus d’un site web

Faut-il bloquer les robots IA ?

Faut-il bloquer les robots IA ? La réponse dépend de ce que vous attendez des IA. Une entreprise qui vend ses contenus, comme un éditeur de presse, a des raisons de refuser l’entraînement. Une entreprise de services qui veut être recommandée par ChatGPT ou Perplexity a intérêt à rester lisible.

Chez RD Agency, nous avons fait ce second choix pour notre propre site : nous ne bloquons aucun robot, et nous publions un fichier llms.txt qui résume nos expertises à l’intention des modèles. Nos mentions légales autorisent l’exploration et la citation par les IA, à condition de citer la source.

Ce choix n’empêche pas de défendre ses droits. La propriété intellectuelle de vos textes reste entière, et vos conditions d’utilisation peuvent encadrer leur réutilisation. Le robots.txt règle l’accès des robots, pas les droits sur le contenu.

Notre accompagnement en optimisation pour les IA aide les entreprises à définir cette politique, puis à rendre leurs pages faciles à comprendre et à citer par ChatGPT, Claude, Gemini et Perplexity.

Robot IA et avenir du référencement

Questions fréquentes sur les robots d’exploration IA

Bloquer GPTBot me retire-t-il de ChatGPT ?

Non. GPTBot sert à l’entraînement des modèles d’OpenAI. La présence dans ChatGPT Search dépend d’OAI-SearchBot. Bloquer GPTBot seul refuse l’entraînement sans vous retirer des résultats de recherche de ChatGPT.

Google-Extended a-t-il un effet sur mon référencement Google ?

Non. Google-Extended n’est qu’un jeton de contrôle pour l’usage de vos pages par Gemini. Il n’affecte ni Googlebot ni votre classement dans Google Search.

Comment savoir quels robots IA visitent mon site ?

Les journaux du serveur indiquent le nom de chaque visiteur (user-agent). Recherchez-y GPTBot, ClaudeBot, PerplexityBot ou OAI-SearchBot, puis vérifiez l’adresse IP avec les listes publiées par OpenAI et Anthropic pour écarter les imitateurs.

Le fichier llms.txt remplace-t-il le robots.txt ?

Non. Le robots.txt autorise ou refuse l’exploration. Le llms.txt est une proposition de format qui résume le site pour les modèles. Les deux se complètent, et aucun moteur n’est obligé de lire le llms.txt.

Ce qu’il faut retenir

Les robots d’exploration IA ne se valent pas : certains entraînent des modèles, d’autres alimentent les réponses des assistants, d’autres lisent une page à la demande d’un utilisateur. Un robots.txt bien écrit refuse l’entraînement si vous le souhaitez, sans vous retirer des réponses de ChatGPT, Claude ou Perplexity.

Revoyez ce fichier au moins deux fois par an : la liste des robots change vite. Pour aller plus loin sur la visibilité dans les moteurs, lisez notre article sur les stratégies SEO face à l’IA en 2026.