Robot (web)
Un Robot web est un agent qui parcours le contenu de site web pour en analyser le contenu ou encore, depuis l'avènement de l'intelligence artificielle, entrainer les LLM.
Conséquence sur un site web
Ces robots ont pour conséquence de solliciter le serveur qui héberge le site web.
Ressource
Faut-il bloquer les bots des IA et si oui comment ?
Why is FacebookBot crawling my site?
Mesure de protection
Il est possible d'interdire à des robots de parcourir le contenu du site web.
Voici l'extrait d'un fichier robots.txt qui, placé à la racine d'un site web permet de gérer les robots.
# Following page has details on how to setup a robots.txt file and # related security issues: # # http://www.chami.com/tips/internet/010198I.html # # 1. Uncomment following two lines by removing "#" at the beginning to # indicate that all robots should stay away from the /cgi-bin/ folder # PHP, 31/03/2026, 19:14 User-agent: * Disallow: /cgi-bin/ # 2. Following two lines indicate that robots named "WWW_Robot_Name" # should stay away from this site. #User-agent: WWW_Robot_Name #Disallow: / # 3. Following two lines indicate that robots named "WWW_Wanderer_Name" # should not index files in the /private/ folder. #User-agent: WWW_Wanderer_Name #Disallow: /private/ User-Agent: * Disallow: /test/ # PHP, 04/12/2018 Allow: /kono/ # PHP, 31/03/2026, 19:14 # 13230 requetes pour GPTBot le 31/03/2026, entre 00:00 et 19:14 # 9412 requetes pour ClaudeBot le 31/03/2026, entre 00:00 et 19:14 # Gestion de l'agent "GPTBot" User-agent: GPTBot Disallow: / # Gestion de l'agent "PerplexityBot" User-agent: PerplexityBot Disallow: / # Gestion de l'agent "ClaudeBot" User-agent: ClaudeBot Disallow: / # Gestion de l'agent "FacebookBot" User-agent: FacebookBot Disallow: / # Gestion de l'agent "meta-webindexer" de Meta User-agent: meta-webindexer Disallow: / # Gestion de l'agent "meta-externalagent" de Meta User-agent: meta-externalagent Disallow: /
