llms.txt : c'est quoi et faut-il en créer un en 2026 ?

En bref : le fichier llms.txt est optionnel. Aucun effet sur la citation n'a été démontré, et Google indique qu'aucun fichier spécial n'est nécessaire pour apparaître dans ses fonctionnalités IA. Ce qui compte vraiment, c'est votre robots.txt : les robots de recherche des IA doivent y être autorisés.

Avant de se demander si les IA comprennent votre contenu, il y a une question plus centrale : est-ce qu'elles peuvent y accéder ? Un nombre surprenant de sites bien optimisés pour Google bloquent involontairement les robots des IA dans leur fichier robots.txt. D'autres laissent les bots accéder au site mais leur servent du JavaScript non rendu, illisible pour les crawlers.

Ce guide technique couvre tout ce qu'il faut savoir sur l'accessibilité IA : les user-agents à connaître, la configuration robots.txt correcte, le fichier llms.txt (et ce qu'il faut en attendre), et les vérifications à faire pour s'assurer que votre site est réellement indexable par les LLM.

Il porte sur les fichiers que vous contrôlez (robots.txt, llms.txt, sitemap). Si ces fichiers sont corrects mais que les bots IA restent bloqués, la cause est ailleurs : pare-feu, protection anti-bot de Cloudflare ou rendu JavaScript. Ces causes techniques sont détaillées dans pourquoi votre site bloque les bots IA sans le savoir.

→Être lisible par les IA est le prérequis du score GEO Detekia, voir la méthodologie complète

Les robots des IA : qui sont-ils ?

Chaque grande plateforme d'IA déploie ses propres robots pour crawler le web. Comme Googlebot pour le SEO, ces bots s'identifient par un « user-agent » spécifique dans leur requête HTTP.

La distinction qui compte est celle des deux colonnes. Les robots de recherche lisent vos pages au moment où une IA prépare sa réponse : s'ils sont bloqués, vous ne pouvez pas être cité. Les robots d'entraînement collectent des contenus pour entraîner les modèles : les bloquer est un choix légitime, sans effet sur les citations. OpenAI le précise : GPTBot sert à l'entraînement, et un site qui le bloque peut toujours apparaître dans ChatGPT search, qui dépend d'OAI-SearchBot (documentation OpenAI). De même, Google-Extended n'a aucun effet sur l'inclusion ou le classement dans Google Search, donc ni sur les AI Overviews : il concerne l'usage de vos contenus par Gemini (documentation Google).

Le point critique : si votre robots.txt contient une directive Disallow: / pour User-agent: * (tous les robots), elle bloque aussi tous les bots IA. C'est souvent une erreur de configuration héritée, faite pour bloquer les scrapers, qui s'applique involontairement aux LLM.

Configurer robots.txt correctement

Un robots.txt GEO-compatible doit laisser passer les robots de recherche des IA. Les robots d'entraînement sont un choix à part : la configuration ci-dessous les autorise, vous pouvez passer leurs lignes en Disallow: / sans perdre de citations.

# robots.txt, configuration GEO-compatible

# Moteurs de recherche classiques
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Robots de recherche IA (indispensables pour être cité)
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Entraînement des modèles (facultatif : votre choix)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

# Google-Extended : usage par Gemini, sans effet sur Google Search
User-agent: Google-Extended
Allow: /

# Règle générale
User-agent: *
Allow: /

Sitemap: https://www.votresite.fr/sitemap.xml

Pour en savoir plus sur la configuration optimale du sitemap et du robots.txt, consultez notre guide sur le sitemap, robots.txt et bots IA en 2026.

Si vous souhaitez autoriser les IA tout en bloquant certains scrapers, vous pouvez combiner des directives spécifiques avec une règle générale restrictive :

# Garder les moteurs de recherche classiques
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Autoriser les robots de recherche IA explicitement
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Bloquer les scrapers non identifiés
User-agent: *
Disallow: /

Attention : les directives spécifiques ont priorité sur les directives générales. Un bot listé explicitement avec Allow: / sera autorisé même si la règle User-agent: * l'interdit. Pensez donc à lister aussi Googlebot, Bingbot et OAI-SearchBot (le bot de ChatGPT search), ainsi que les robots de recherche de Claude et Perplexity : une règle Disallow: / générale bloquerait sinon votre référencement classique et vos citations dans ChatGPT.

Vérifier votre configuration actuelle

Pour tester votre robots.txt actuel, accédez directement à https://votresite.fr/robots.txt. Cherchez les user-agents listés ci-dessus et vérifiez s'ils sont autorisés ou bloqués.

Trois situations à identifier :

• User-agent non mentionné → le bot hérite de la règle User-agent: *. Si cette règle est Allow: /, c'est OK. Si c'est Disallow: /, le bot est bloqué.
• User-agent avec Disallow: / → le bot est explicitement bloqué. À corriger immédiatement s'il s'agit d'un robot de recherche ; pour un robot d'entraînement, c'est un choix possible.
• User-agent avec Allow: / → correct, le bot peut crawler votre site.

Google Search Console propose un rapport robots.txt pour vérifier le fichier lu par Googlebot. Pour les bots IA hors Google, vous pouvez utiliser l'extension Chrome « robots.txt viewer » ou un service comme sitechecker.pro.

Le fichier llms.txt : une proposition, pas une obligation

Le fichier llms.txt est une initiative proposée en septembre 2024 par Jeremy Howard (cofondateur de fast.ai) pour créer un standard permettant aux sites web de communiquer directement avec les LLM. Il se place à la racine du site, comme robots.txt, et contient un résumé structuré du site et de ses contenus clés.

Qu'est-ce que llms.txt contient ?

Le format proposé est simple, du Markdown structuré avec des sections définies :

# Nom du site

> Une description concise de ce que fait votre site (2-3 phrases max).
> Idéalement : qui vous êtes, ce que vous proposez, à qui vous vous adressez.

## Contenu principal

- [Guide GEO complet](https://votresite.fr/blog/geo-guide-complet): Le guide de référence pour optimiser sa visibilité IA en 2026
- [Score GEO gratuit](https://votresite.fr/): Outil d'analyse automatique du score GEO, 6 critères mesurés
- [Méthodologie](https://votresite.fr/methodologie): Explication détaillée de chaque critère du score GEO

## À propos

- Fondé en : 2025
- Expertise : GEO (Generative Engine Optimization), SEO, visibilité IA
- Contact : contact@votresite.fr

## Ce que nous ne faisons pas

- Nous ne faisons pas de référencement payant (SEA)
- Nous ne proposons pas de création de contenu

## Liens utiles

- [Blog](https://votresite.fr/blog): Articles techniques sur le GEO
- [Tarifs](https://votresite.fr/pricing): Nos offres
- [Contact](https://votresite.fr/contact): Formulaire de contact

llms.txt vs llms-full.txt

Le standard propose deux variantes :

• llms.txt : résumé court, index vers les pages importantes. Idéal pour les LLM qui scannent rapidement.
• llms-full.txt : version complète avec le contenu intégral des pages clés. Destiné aux LLM qui veulent indexer le contenu en profondeur.

Commencez par llms.txt. La version full est optionnelle et surtout utile pour les sites à contenu riche (documentation, bases de connaissances).

llms.txt est-il déjà adopté par les IA ?

En 2026, llms.txt reste une proposition : de nombreux sites et éditeurs de documentation l'ont adopté, mais aucun grand moteur IA (OpenAI, Anthropic, Google, Perplexity) n'a officiellement confirmé s'en servir pour sélectionner ses sources, et aucun effet sur la citation n'a été démontré. Google est explicite : pour apparaître dans ses AI Overviews et son Mode IA, il n'est pas nécessaire de créer de nouveaux fichiers « AI text files » ni d'ajouter un balisage spécial (Google Search Central). Tous les moteurs respectent en revanche robots.txt.

La recommandation pragmatique : llms.txt est optionnel. Si vous avez 20 minutes, en créer un ne nuit pas à votre SEO, mais n'en attendez pas de citations. Votre temps sera mieux employé ailleurs : robots de recherche autorisés dans le robots.txt, contenu lisible sans JavaScript, puis des pages qui répondent clairement sous chaque titre.

Les autres obstacles à l'accessibilité IA

Le JavaScript côté client

C'est le problème le plus sous-estimé. Si votre contenu est rendu en JavaScript côté client (React, Vue, Angular sans SSR), les bots IA basiques ne verront pas ce contenu. Ils reçoivent le HTML initial, sans attendre l'exécution du JS. Pour maximiser la lisibilité, pensez aussi à implémenter vos données structurées Schema.org.

<!-- ❌ Contenu invisible pour les bots basiques -->
<div id="app"></div>
<script>
  // Le contenu est chargé après coup en JS
  document.getElementById('app').innerHTML = '<h1>Mon contenu</h1>';
</script>

<!-- ✅ Contenu visible immédiatement -->
<h1>Mon contenu</h1>

Solution : utilisez le Server-Side Rendering (SSR) ou la génération statique (SSG). Next.js, Nuxt.js et Gatsby sont conçus pour ça. Si vous utilisez une SPA pure, mettez en place un prérendu.

Le contenu derrière authentification

Les pages nécessitant une connexion sont inaccessibles aux bots, par définition. Si votre contenu de valeur est derrière un login, envisagez d'en rendre une version publique (ou un aperçu) accessible sans authentification.

Les erreurs 4xx et 5xx

Les pages qui retournent des erreurs HTTP seront ignorées. Vérifiez régulièrement que vos pages importantes retournent bien un 200 avec Google Search Console ou un outil de crawl comme Screaming Frog.

Le canonical et les redirections

Si vos pages importantes font l'objet de redirections en chaîne ou de canonicals qui pointent vers une autre URL, les bots peuvent ne pas suivre jusqu'au contenu final. Simplifiez les structures d'URL et limitez les redirections à une seule étape.

Checklist d'accessibilité IA

• ✓ robots.txt testé : OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot, Googlebot et Bingbot autorisés
• ✓ Pages clés sans balise noindex
• ✓ Sitemap XML présent et référencé dans robots.txt
• ✓ (Facultatif) llms.txt créé à la racine du site
• ✓ Contenu principal rendu côté serveur (SSR ou SSG)
• ✓ Pas de contenu important uniquement derrière JavaScript côté client
• ✓ Pages importantes retournent HTTP 200
• ✓ Pas de redirections en chaîne vers les pages clés
• ✓ Temps de réponse inférieur à 3 secondes

Un site accessible n'est pas pour autant un site cité. Une fois les portes ouvertes, reste à savoir si ChatGPT, Gemini, Claude ou Perplexity vous citent réellement sur vos requêtes clés : c'est l'objet d'un audit de visibilité IA de votre marque, qui compare aussi votre présence à celle de vos concurrents.

Pour aller plus loin sur l'accès des IA à votre site :

• Sitemap et robots.txt : la configuration pour les bots IA en 2026
• Pare-feu, Cloudflare, JavaScript : pourquoi votre site bloque les bots IA
• Refonte de site : ne pas perdre sa visibilité IA (redirections, migrations)
• Maillage interne et structure de site pour les IA
• WordPress et GEO : plugins et optimisations
• Schema.org et IA : le guide pratique des données structurées

→Vérifiez l'accessibilité IA de votre site avec le score GEO gratuit

Questions fréquentes

Bloquer les bots IA nuit-il à mon SEO classique ?

Non, à condition de ne bloquer que les bots IA et de laisser Googlebot accéder normalement. Les deux systèmes de crawl sont indépendants. Google-Extended est distinct de Googlebot : le bloquer n'a aucun effet sur Google Search ni sur les AI Overviews. Attention en revanche aux robots de recherche des IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) : les bloquer ne touche pas votre SEO, mais vous retire des réponses de ces moteurs.

Dois-je autoriser Common Crawl ?

Common Crawl est la base de données sur laquelle sont entraînés de nombreux LLM open source. L'autoriser augmente vos chances d'être dans les données d'entraînement de futurs modèles. Si vous n'avez pas de raison spécifique de le bloquer (contenu sensible, paywall), autorisez-le.

Que se passe-t-il si je bloque les bots IA après avoir été indexé ?

Les informations déjà dans les données d'entraînement des LLM restent. Vous ne pouvez pas « effacer » du corpus d'entraînement. En revanche, pour les systèmes de recherche IA en temps réel (Perplexity, ChatGPT search), bloquer leur robot de recherche (PerplexityBot, OAI-SearchBot) empêchera les futures citations. Bloquer seulement un robot d'entraînement comme GPTBot n'a pas cet effet.

→Voir tous les critères GEO et leur impact sur votre score