Robot (web)

Un Robot web est un agent qui parcours le contenu de site web pour en analyser le contenu ou encore, depuis l'avènement de l'intelligence artificielle, entrainer les LLM.

Conséquence sur un site web

Ces robots ont pour conséquence de solliciter le serveur qui héberge le site web.

Ressource

Faut-il bloquer les bots des IA et si oui comment ?

• https://www.ethersys.fr
  • https://www.ethersys.fr/actualites/20240918-bloquer-les-bots-ia/

Why is FacebookBot crawling my site?

• https://datadome.co
  • https://datadome.co/bots/facebookbot/

Known Agents : Track, control, and optimize your website for AI agents and bots

• https://knownagents.com
• Liste d'agents
  • https://knownagents.com/agents
  • https://knownagents.com/agents/meta-webindexer

Cloudflare Docs

• https://developers.cloudflare.com
  • https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/

Mesure de protection

Il est possible d'interdire à des robots de parcourir le contenu du site web.

Liste des agents à contrer :

Pour analyse d'un fichier journal (access.log) avec Notepad++ et recherche via une expression régulière :

• (AliyunSecBot|Amazonbot|Barkrowler|ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|PerplexityBot|PetalBot|SemrushBot)

Voici l'extrait d'un fichier robots.txt qui, placé à la racine d'un site web permet de gérer les robots.

# Following page has details on how to setup a robots.txt file and 
# related security issues:
#
#   http://www.chami.com/tips/internet/010198I.html
#

# 1. Uncomment following two lines by removing "#" at the beginning to 
# indicate that all robots should stay away from the /cgi-bin/ folder

# PHP, 31/03/2026, 19:14
User-agent: *
Disallow: /cgi-bin/

# 2. Following two lines indicate that robots named "WWW_Robot_Name"
# should stay away from this site.

#User-agent: WWW_Robot_Name
#Disallow: /

# 3. Following two lines indicate that robots named "WWW_Wanderer_Name"
# should not index files in the /private/ folder.

#User-agent: WWW_Wanderer_Name
#Disallow: /private/

User-Agent: *
Disallow: /test/
# PHP, 04/12/2018
Allow: /kono/

# PHP, 31/03/2026, 19:14
# 13230 requetes pour GPTBot le 31/03/2026, entre 00:00 et 19:14
#  9412 requetes pour ClaudeBot le 31/03/2026, entre 00:00 et 19:14

# 005-20260401-Gestion de l'agent "Amazonbot"
User-agent: Amazonbot
Disallow: /

# 010-20260331-Gestion de l'agent "ClaudeBot"
User-agent: ClaudeBot
Disallow: /

# 020-20260401-Gestion de l'agent "Claude-SearchBot"
User-agent: Claude-SearchBot
Disallow: /

# 030-20260331-Gestion de l'agent "FacebookBot"
User-agent: FacebookBot
Disallow: /

# 040-20260331-Gestion de l'agent "GPTBot"
User-agent: GPTBot
Disallow: /

# 050-20260331-Gestion de l'agent "meta-externalagent" de Meta
User-agent: meta-externalagent
Disallow: /

# 060-20260331-Gestion de l'agent "meta-webindexer" de Meta
User-agent: meta-webindexer
Disallow: /

# 070-20260331-Gestion de l'agent "PerplexityBot"
User-agent: PerplexityBot
Disallow: /

Bilan au 20260401-2240

Pour le fichier d'accès du 31/03/2026 :

• 324941 lignes d'identification d'accès ;
• 322003 lignes correspondent aux recherches avec les agents suivants :
  • (AliyunSecBot|Amazonbot|Barkrowler|ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|PerplexityBot|PetalBot|SemrushBot)

Voir aussi

• IA