Robot (web)

Un Robot web est un agent qui parcours le contenu de site web pour en analyser le contenu ou encore, depuis l'avènement de l'intelligence artificielle, entrainer les LLM.

Conséquence sur un site web

Ces robots ont pour conséquence de solliciter le serveur qui héberge le site web.

Ressource

Faut-il bloquer les bots des IA et si oui comment ?

• https://www.ethersys.fr
  • https://www.ethersys.fr/actualites/20240918-bloquer-les-bots-ia/

Why is FacebookBot crawling my site?

• https://datadome.co
  • https://datadome.co/bots/facebookbot/

Known Agents : Track, control, and optimize your website for AI agents and bots

• https://knownagents.com
• Liste d'agents
  • https://knownagents.com/agents
  • https://knownagents.com/agents/meta-webindexer

Mesure de protection

Il est possible d'interdire à des robots de parcourir le contenu du site web.

Voici l'extrait d'un fichier robots.txt qui, placé à la racine d'un site web permet de gérer les robots.

# Following page has details on how to setup a robots.txt file and 
# related security issues:
#
#   http://www.chami.com/tips/internet/010198I.html
#

# 1. Uncomment following two lines by removing "#" at the beginning to 
# indicate that all robots should stay away from the /cgi-bin/ folder

# PHP, 31/03/2026, 19:14
User-agent: *
Disallow: /cgi-bin/

# 2. Following two lines indicate that robots named "WWW_Robot_Name"
# should stay away from this site.

#User-agent: WWW_Robot_Name
#Disallow: /

# 3. Following two lines indicate that robots named "WWW_Wanderer_Name"
# should not index files in the /private/ folder.

#User-agent: WWW_Wanderer_Name
#Disallow: /private/

User-Agent: *
Disallow: /test/
# PHP, 04/12/2018
Allow: /kono/

# PHP, 31/03/2026, 19:14
# 13230 requetes pour GPTBot le 31/03/2026, entre 00:00 et 19:14
#  9412 requetes pour ClaudeBot le 31/03/2026, entre 00:00 et 19:14

# Gestion de l'agent "GPTBot"
User-agent: GPTBot
Disallow: /

# Gestion de l'agent "PerplexityBot"
User-agent: PerplexityBot
Disallow: /

# Gestion de l'agent "ClaudeBot"
User-agent: ClaudeBot
Disallow: /

# Gestion de l'agent "FacebookBot"
User-agent: FacebookBot
Disallow: /

# Gestion de l'agent "meta-webindexer" de Meta
User-agent: meta-webindexer
Disallow: /

# Gestion de l'agent "meta-externalagent" de Meta
User-agent: meta-externalagent
Disallow: /

Voir aussi

• IA