SEO & visibilité

Robots des IA : les laisser lire votre site ou les bloquer ?

5 min de lecture

Votre hébergeur, une extension de sécurité ou un confrère vous propose de « bloquer les robots IA » en un clic. Le réglage paraît prudent, mais il décide de ce que ChatGPT, Gemini ou Perplexity peuvent lire de votre site, et donc de ce qu'ils peuvent en dire. Avant de cliquer, mieux vaut savoir à quoi servent ces robots IA et ce que change un blocage.

Deux familles de robots

Un robot d'exploration est un programme qui parcourt les pages des sites pour les lire. Les entreprises d'IA en utilisent de deux sortes :

  • les robots d'entraînement collectent des contenus pour construire ou améliorer les modèles d'IA. Chez OpenAI, c'est GPTBot ;
  • les robots de recherche alimentent les réponses des assistants et leurs liens vers les sources : OAI-SearchBot pour la recherche de ChatGPT, PerplexityBot pour Perplexity.

Google fonctionne différemment. Googlebot nourrit la recherche, dont dépendent aussi ses aperçus IA et son mode IA. Google-Extended, un réglage du robots.txt sans robot distinct, permet de refuser que vos contenus servent à entraîner les modèles Gemini ou à alimenter certaines réponses de l'application ; Google précise qu'il n'a aucun effet sur la présence dans la recherche. Pour sortir des aperçus IA et du mode IA, la Search Console propose un réglage à part.

D'autres éditeurs publient la liste de leurs robots dans leur documentation. Les noms et les rôles changent : fiez-vous à ces pages plutôt qu'à une liste recopiée sur un blog. Les statistiques de votre hébergeur, quand elles détaillent les visiteurs, indiquent parfois quels robots passent sur votre site.

Ce que change un blocage

Le blocage s'écrit dans le fichier robots.txt, à la racine du site, dont le fonctionnement est présenté dans l'article sur le sitemap et le robots.txt. Deux lignes suffisent pour refuser GPTBot :

User-agent: GPTBot

Disallow: /

L'effet dépend du robot visé :

  • refuser un robot d'entraînement indique que votre contenu ne doit pas servir à entraîner les modèles ; OpenAI précise que bloquer GPTBot n'empêche pas d'apparaître dans les résultats de recherche de ChatGPT ;
  • refuser un robot de recherche vous retire des réponses du service : d'après OpenAI, les sites qui bloquent OAI-SearchBot n'apparaissent pas dans les réponses de recherche de ChatGPT ;
  • certains robots ne passent qu'à la demande d'un utilisateur, comme ChatGPT-User ou Perplexity-User, et leurs éditeurs indiquent que le robots.txt peut ne pas s'y appliquer.

Le robots.txt reste une demande : les grands éditeurs la respectent, et rien n'oblige les autres. Il n'efface pas non plus ce qui a déjà été collecté. Pour bloquer vraiment un robot, il faut un filtre chez l'hébergeur ou dans un service de protection, une question à poser à la personne qui gère votre site. Ne le confondez pas avec le llms.txt, un résumé de site proposé aux IA, dont l'utilité est discutée dans l'article sur le fichier llms.txt.

Avant de modifier le robots.txt, copiez l'ancienne version dans un document. Une ligne mal placée peut fermer tout le site, et vous reviendrez en arrière en quelques secondes.

Le choix raisonnable pour un commerce local

Laisser passer les robots de recherche

Un client qui demande à un assistant « garage ouvert le samedi à Rennes » ne verra votre nom que si le robot de recherche de cet assistant a pu lire votre site. Pour un commerce ou un indépendant, c'est une occasion d'être cité : ces robots méritent le feu vert, au même titre que Googlebot et Bingbot. L'article sur le référencement IA d'un commerce local décrit ce qui aide les assistants à vous comprendre.

Décider pour les robots d'entraînement

Si votre site publie surtout des horaires, une carte, des services et des tarifs, peu de choses valent d'être protégées, et rien n'impose de bloquer. Le blocage se défend quand votre contenu est votre produit : portfolio de photographe, recettes originales, articles, supports de formation, textes payants. Refusez alors GPTBot et Google-Extended, et laissez les robots de recherche tranquilles.

Trois questions aident à trancher :

  • mon contenu est-il original, et vaut-il de l'argent à lui seul ?
  • mes clients utilisent-ils des assistants pour chercher des adresses comme la mienne ?
  • qui, chez moi ou chez mon prestataire, peut modifier le robots.txt et vérifier le résultat ?

Notez votre choix et sa date, puis revoyez-le chaque année : les robots et leurs règles évoluent.

Les erreurs qui coûtent des visites

  • cocher « bloquer les robots IA » dans une extension ou chez l'hébergeur sans savoir quels robots sont visés, certains services l'activant par défaut ;
  • laisser, après la phase de test, un « User-agent: * » suivi de « Disallow: / », qui ferme le site à tous les robots, Google compris ;
  • croire que le robots.txt protège un document confidentiel : le fichier est public et ne retient que les robots qui le respectent ;
  • recopier une liste de robots trouvée sur un blog : un nom périmé ne bloque aucun robot, ou le mauvais ;
  • ne pas vérifier après coup : ouvrez le fichier modifié dans votre navigateur, et testez qu'une page de votre site reste bien visible dans Google quelques jours plus tard.

Par où commencer

  1. Ouvrez votre-site.fr/robots.txt et relevez les robots mentionnés.
  2. Demandez à votre hébergeur ou à la personne qui gère votre site si un réglage « robots IA » est actif.
  3. Décidez : robots de recherche autorisés, robots d'entraînement selon la nature de votre contenu. Si vous faites créer un site, demandez ce que contient le robots.txt livré, et estimez le projet avec le configurateur de devis.

À lire aussi