# 01 — robots.txt : aucun crawler IA déclaré

> **Specs** : robots.txt for AI crawlers — tier **recommended** · Content Signals — tier optional
> **Verdict** : 🔴 **FAIL** · **Priorité : P1 — le fix le moins cher / plus rentable de tout l'audit (~10 min)**
> **Lié** : à faire dans le même geste que le nettoyage robots.txt ([SEO issue 10](../../audit-seo/issues/10-robots-sitemap.md))

## Constat

Le robots.txt déclare 14 user-agents (Google, Bing, sociaux, bots SEO, indésirables)… mais **aucun des crawlers IA** : ni GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI), ni ClaudeBot / anthropic-ai (Anthropic), ni Google-Extended (Gemini), ni Applebot-Extended, ni PerplexityBot, ni Bytespider, ni CCBot. Aucune directive `Content-Signal` non plus.

Aujourd'hui ces bots tombent dans le groupe `User-agent: *` par défaut — non gouvernés, aucun signal explicite.

## Enjeu business (pourquoi P1)

Pour un site de leads local, chaque citation dans ChatGPT / Perplexity / Gemini sur « destruction nid de guêpes <ville> » ou « frelon asiatique que faire » est un **prospect gratuit**. Contrairement à un site documentaire qui craint l'ingestion de son contenu, ABC Guêpes n'a **que des bénéfices** à être maximalement visible des IA :

- **Bots de retrieval/citation** (OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot) : c'est eux qui font apparaître le site comme réponse — les autoriser explicitement.
- **Bots d'entraînement** (GPTBot, Google-Extended, Applebot-Extended, CCBot…) : pas de contenu propriétaire à protéger ; les autoriser maximise le rappel de la marque dans les futurs modèles.

Bloquer l'un de ces bots serait du pur downside ; le silence actuel est déjà un défaut (la spec demande un signal **explicite** par agent).

## Correctif

### Bloc à ajouter au robots.txt

```
# Crawlers IA — visibilite maximale souhaitee (leads)
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: CCBot
Allow: /
```

### Content Signals (optionnel, même geste)

À insérer **dans** le groupe `User-agent: *` existant (la directive doit vivre dans un groupe) :

```
User-agent: *
Allow: /
Content-Signal: search=yes, ai-input=yes, ai-train=yes
```

Cohérent avec la politique « visibilité maximale » : recherche oui, usage en contexte IA oui, entraînement oui.

## Vérification

```bash
curl -s https://www.abc-guepes.com/robots.txt | grep -A1 -E 'GPTBot|ClaudeBot|PerplexityBot|Google-Extended'
```
- Valider la syntaxe (un validateur robots.txt type technicalseo.com/tools/robots-txt) : chaque groupe reconnu, pas de directive orpheline.
- Suivi : logs serveur / analytics Cloudflare — les user-agents IA doivent apparaître dans le trafic crawl ; à moyen terme, tester les requêtes locales dans ChatGPT/Perplexity et vérifier si le site est cité.