Générateur robots.txt 2026
pour bots IA

Comment utiliser le générateur ?

1. Renseignez votre domaine et l'URL de votre sitemap. Le sitemap est déclaré en fin de fichier pour que tous les robots le trouvent.
2. Réglez les robots IA un par un. L'entraînement des modèles et la citation dans les réponses sont deux décisions distinctes, détaillées ci-dessous.
3. Copiez le fichier et déposez-le à la racine de votre domaine, à la place de l'ancien.
4. Vérifiez la version en ligne en ouvrant votredomaine.fr/robots.txt, puis dans le rapport robots.txt de la Search Console.

Entraînement, recherche, visite à la demande : trois robots par éditeur

Chaque grand éditeur d'IA utilise plusieurs robots. Le premier collecte des pages pour entraîner ses modèles. Le deuxième alimente le moteur de recherche de l'assistant : c'est lui qui conditionne vos citations. Le troisième passe quand un utilisateur demande d'ouvrir une page précise. La conséquence pratique : bloquer GPTBot ne vous retire pas des réponses de ChatGPT, bloquer OAI-SearchBot si. Chez Google, Google-Extended n'est pas un robot mais un jeton. Il contrôle l'usage de vos contenus pour entraîner Gemini, sans effet sur les AI Overviews ni sur AI Mode, qui s'appuient sur Googlebot. Sortir des réponses IA de Google reviendrait à bloquer Googlebot, donc à disparaître de la recherche classique.

Ce que j'observe sur les sites français

J'ai analysé les robots.txt de 9 891 domaines en .fr. 13,5 % bloquent les robots d'entraînement IA. Mais seuls 276 sites sur 7 047 nomment OAI-SearchBot, le robot qui conditionne la présence dans ChatGPT. La grande majorité des sites n'a jamais tranché la question de sa visibilité IA : elle subit le réglage par défaut. Le détail des chiffres est dans l'étude sur les robots IA et les sites français.

Les erreurs qui annulent votre robots.txt

Un groupe nommé ignore les règles générales. Un robot ne lit que le groupe User-agent qui le désigne le plus précisément. Si vous créez un groupe pour GPTBot, les règles écrites sous User-agent: * ne s'appliquent plus à lui. Répétez dans chaque groupe les interdictions à conserver.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /wp-admin/

Sitemap: https://www.votredomaine.fr/sitemap.xml

Dans cet exemple, GPTBot n'entraîne rien sur le site, OAI-SearchBot explore tout sauf l'administration, et les autres robots suivent le groupe général. Le Disallow oublié après la mise en ligne. Un Disallow: / sous User-agent: *, resté depuis la préproduction, ferme le site à tous les robots, IA comprises. Un fichier par hôte. Le robots.txt de www.votredomaine.fr ne couvre ni app.votredomaine.fr ni blog.votredomaine.fr. Chaque sous-domaine a besoin du sien, à sa propre racine. Robots.txt ne désindexe pas. Une page bloquée peut rester dans l'index si d'autres sites pointent vers elle. Pour la retirer, laissez-la explorable et ajoutez une balise noindex. Le fichier en erreur serveur. Si robots.txt renvoie une erreur 5xx, Google peut suspendre l'exploration du site jusqu'à ce que le fichier redevienne accessible.

Questions fréquentes

Bloquer GPTBot me retire-t-il de ChatGPT ?

Non. GPTBot sert à l'entraînement des modèles d'OpenAI. Les réponses de ChatGPT avec recherche web s'appuient sur OAI-SearchBot. Vous pouvez refuser le premier et autoriser le second.

Faut-il bloquer les robots d'entraînement ?

C'est un choix éditorial, pas technique. Bloquer l'entraînement protège vos contenus, mais votre marque pèsera moins dans les réponses produites sans recherche web. Le guide faut-il autoriser GPTBot, ClaudeBot et PerplexityBot compare les deux options.

Tous les robots IA respectent-ils robots.txt ?

Les robots déclarés des grands éditeurs le respectent. Les visites déclenchées par un utilisateur forment une zone grise : Perplexity indique par exemple que Perplexity-User ignore généralement robots.txt, puisque la visite répond à une demande humaine. Pour un blocage strict, passez par votre pare-feu.

Où placer le fichier sur WordPress ?

À la racine du site, accessible à l'adresse votredomaine.fr/robots.txt, en texte brut encodé en UTF-8. WordPress sert un fichier virtuel tant qu'aucun fichier physique n'existe. Dès que vous en déposez un par FTP, il remplace la version virtuelle.

Un bon robots.txt suffit-il pour être cité par les IA ?

Non. Il ouvre la porte, rien de plus. La citation dépend ensuite de vos contenus et de vos mentions sur d'autres sites. La seule façon de le savoir est de mesurer votre visibilité dans ChatGPT sur des questions réelles.

Sources

• IETF, RFC 9309, Robots Exclusion Protocol : https://www.rfc-editor.org/rfc/rfc9309
• OpenAI, Overview of OpenAI Crawlers : https://platform.openai.com/docs/bots
• Google Search Central, robots d'exploration courants de Google : https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers