Quels robots d'IA autoriser dans son robots.txt
Pour être cité, autorisez au minimum GPTBot et OAI-SearchBot (ChatGPT), PerplexityBot, ClaudeBot et Google-Extended, ainsi que Bingbot dont dépend la recherche de ChatGPT. Les bloquer protège les contenus de l'entraînement mais interdit aussi la recommandation. La décision se prend robot par robot, car ils ne servent pas tous le même usage.
Entraînement et citation ne sont pas la même chose
Certains robots collectent des données pour entraîner des modèles, d'autres vont chercher une page au moment où un utilisateur pose sa question. Bloquer les premiers reste défendable ; bloquer les seconds revient à refuser d'apparaître dans les réponses. La distinction est la clé d'un arbitrage sensé.
La liste à connaître
Côté OpenAI : GPTBot pour la collecte, OAI-SearchBot pour la recherche, ChatGPT-User pour les visites déclenchées par un utilisateur. Côté Anthropic : ClaudeBot et Claude-User. Google-Extended gouverne l'usage par Gemini et les AI Overviews. PerplexityBot pour Perplexity, Bingbot pour l'index que ChatGPT interroge.
L'erreur la plus fréquente
Une règle générale de blocage, souvent posée par un plugin de sécurité ou héritée d'une ancienne configuration, ferme la porte à tous ces robots sans que personne ne l'ait décidé. La vérification prend une minute : ouvrir le fichier robots.txt du site et y chercher les noms ci-dessus.
Ce que montre le répertoire George
George mesure aujourd'hui 1 marque dans les réponses des moteurs IA, secteur par secteur. Voir le répertoire.
Questions fréquentes
Bloquer GPTBot empêche-t-il ChatGPT de me citer ?
En grande partie : sans accès au site, le moteur s'appuie sur des sources tierces qui parlent de la marque, quand elles existent. La marque perd la maîtrise de ce qui est dit d'elle.
Le fichier llms.txt sert-il à quelque chose ?
Il ne remplace pas le robots.txt et n'est reconnu officiellement par aucun grand moteur à ce jour. Il coûte peu et documente la structure du site, mais l'essentiel se joue dans l'accès des robots et la qualité des contenus.
Votre marque est-elle citée par les IA ?
George pose les questions de votre secteur à ChatGPT, Perplexity et Google AI Overviews, et vous montre qui est cité à votre place. L'analyse est gratuite.
Analyser ma marquePour aller plus loin
Devenez visible grâce à George.
7 jours gratuits, puis satisfait ou remboursé pendant 90 jours.