Robot (web)

Un Robot web est un agent qui parcours le contenu de site web pour en analyser le contenu ou encore, depuis l'avènement de l'intelligence artificielle, entrainer les LLM.

Conséquence sur un site web

Ces robots ont pour conséquence de solliciter le serveur qui héberge le site web.

Ressource

Faut-il bloquer les bots des IA et si oui comment ?

• https://www.ethersys.fr
  • https://www.ethersys.fr/actualites/20240918-bloquer-les-bots-ia/

Why is FacebookBot crawling my site?

• https://datadome.co
  • https://datadome.co/bots/facebookbot/

Known Agents : Track, control, and optimize your website for AI agents and bots

• https://knownagents.com
• Liste d'agents
  • https://knownagents.com/agents
  • https://knownagents.com/agents/meta-webindexer

Cloudflare Docs

• https://developers.cloudflare.com
  • https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/

Mesure de protection

Il est possible d'interdire à des robots de parcourir le contenu du site web.

Liste des agents à contrer :

Pour analyse d'un fichier journal (access.log) avec Notepad++ et recherche via une expression régulière :

• (AliyunSecBot|Amazonbot|Barkrowler|ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|MJ12bot|PerplexityBot|PetalBot|SemrushBot)

Voici l'extrait d'un fichier robots.txt qui, placé à la racine d'un site web permet de gérer les robots.

#
# This is an empty robots.txt file that can be used to indicate to 
# WWW robots which parts of a web site should not be indexed.
#
# Following page has details on how to setup a robots.txt file and 
# related security issues:
#
#   http://www.chami.com/tips/internet/010198I.html
#

# 1. Uncomment following two lines by removing "#" at the beginning to 
# indicate that all robots should stay away from the /cgi-bin/ folder

# PHP, 31/03/2026, 19:14
User-agent: *
Disallow: /cgi-bin/

# 2. Following two lines indicate that robots named "WWW_Robot_Name"
# should stay away from this site.
#User-agent: WWW_Robot_Name
#Disallow: /

# 3. Following two lines indicate that robots named "WWW_Wanderer_Name"
# should not index files in the /private/ folder.
#User-agent: WWW_Wanderer_Name
#Disallow: /private/

User-Agent: *
Disallow: /maintenance/
Disallow: /tests/

User-agent: AliyunSecBot       # 20260401-2201-Gestion de l'agent "AliyunSecBot"
User-agent: Amazonbot          # 20260401-2202-Gestion de l'agent "Amazonbot"
User-agent: Barkrowler         # 20260401-2203-Gestion de l'agent "Barkrowler"
User-agent: ClaudeBot          # 20260331-2201-Gestion de l'agent "ClaudeBot"
User-agent: Claude-SearchBot   # 20260401-2202-Gestion de l'agent "Claude-SearchBot"
User-agent: FacebookBot        # 20260331-2203-Gestion de l'agent "FacebookBot"
User-agent: GPTBot             # 20260331-2204-Gestion de l'agent "GPTBot"
User-agent: meta-externalagent # 20260331-2205-Gestion de l'agent "meta-externalagent" de Meta
User-agent: meta-webindexer    # 20260331-2206-Gestion de l'agent "meta-webindexer" de Meta
User-agent: MJ12bot            # 20260402-2012-Gestion de l'agent "MJ12bot"
User-agent: PerplexityBot      # 20260331-2207-Gestion de l'agent "PerplexityBot"
User-agent: PetalBot           # 20260401-2230-Gestion de l'agent "PetalBot"
User-agent: SemrushBot         # 20260401-2238-Gestion de l'agent "SemrushBot"
Disallow: /

Bilan au 20260401-2240

Pour le fichier d'accès du 31/03/2026 :

• 324941 lignes d'identification d'accès ;
• 322003 lignes correspondent aux recherches avec les agents suivants :
  • (AliyunSecBot|Amazonbot|Barkrowler|ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|PerplexityBot|PetalBot|SemrushBot)

Voir aussi

• IA