« Robot (web) » : différence entre les versions
| Ligne 26 : | Ligne 26 : | ||
Pour analyse d'un fichier journal (<code>access.log</code>) avec [[Notepad++]] et recherche via une [[expression régulière]] : | Pour analyse d'un fichier journal (<code>access.log</code>) avec [[Notepad++]] et recherche via une [[expression régulière]] : | ||
* <source inline>(ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|PerplexityBot)</source> | * <source inline>(Amazonbot|ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|PerplexityBot)</source> | ||
Voici l'extrait d'un fichier <code>robots.txt</code> qui, placé à la racine d'un site web permet de gérer les robots. | Voici l'extrait d'un fichier <code>robots.txt</code> qui, placé à la racine d'un site web permet de gérer les robots. | ||
| Ligne 63 : | Ligne 63 : | ||
# 13230 requetes pour GPTBot le 31/03/2026, entre 00:00 et 19:14 | # 13230 requetes pour GPTBot le 31/03/2026, entre 00:00 et 19:14 | ||
# 9412 requetes pour ClaudeBot le 31/03/2026, entre 00:00 et 19:14 | # 9412 requetes pour ClaudeBot le 31/03/2026, entre 00:00 et 19:14 | ||
# 005-20260401-Gestion de l'agent "Amazonbot" | |||
User-agent: Amazonbot | |||
Disallow: / | |||
# 010-20260331-Gestion de l'agent "ClaudeBot" | # 010-20260331-Gestion de l'agent "ClaudeBot" | ||
Version du 1 avril 2026 à 19:06
Un Robot web est un agent qui parcours le contenu de site web pour en analyser le contenu ou encore, depuis l'avènement de l'intelligence artificielle, entrainer les LLM.
Conséquence sur un site web
Ces robots ont pour conséquence de solliciter le serveur qui héberge le site web.
Ressource
Faut-il bloquer les bots des IA et si oui comment ?
Why is FacebookBot crawling my site?
Known Agents : Track, control, and optimize your website for AI agents and bots
- https://knownagents.com
- Liste d'agents
Mesure de protection
Il est possible d'interdire à des robots de parcourir le contenu du site web.
Liste des agents à contrer :
Pour analyse d'un fichier journal (access.log) avec Notepad++ et recherche via une expression régulière :
(Amazonbot|ClaudeBot|Claude-SearchBot|FacebookBot|GPTBot|meta-externalagent|meta-webindexer|PerplexityBot)
Voici l'extrait d'un fichier robots.txt qui, placé à la racine d'un site web permet de gérer les robots.
# Following page has details on how to setup a robots.txt file and # related security issues: # # http://www.chami.com/tips/internet/010198I.html # # 1. Uncomment following two lines by removing "#" at the beginning to # indicate that all robots should stay away from the /cgi-bin/ folder # PHP, 31/03/2026, 19:14 User-agent: * Disallow: /cgi-bin/ # 2. Following two lines indicate that robots named "WWW_Robot_Name" # should stay away from this site. #User-agent: WWW_Robot_Name #Disallow: / # 3. Following two lines indicate that robots named "WWW_Wanderer_Name" # should not index files in the /private/ folder. #User-agent: WWW_Wanderer_Name #Disallow: /private/ User-Agent: * Disallow: /test/ # PHP, 04/12/2018 Allow: /kono/ # PHP, 31/03/2026, 19:14 # 13230 requetes pour GPTBot le 31/03/2026, entre 00:00 et 19:14 # 9412 requetes pour ClaudeBot le 31/03/2026, entre 00:00 et 19:14 # 005-20260401-Gestion de l'agent "Amazonbot" User-agent: Amazonbot Disallow: / # 010-20260331-Gestion de l'agent "ClaudeBot" User-agent: ClaudeBot Disallow: / # 020-20260401-Gestion de l'agent "Claude-SearchBot" User-agent: Claude-SearchBot Disallow: / # 030-20260331-Gestion de l'agent "FacebookBot" User-agent: FacebookBot Disallow: / # 040-20260331-Gestion de l'agent "GPTBot" User-agent: GPTBot Disallow: / # 050-20260331-Gestion de l'agent "meta-externalagent" de Meta User-agent: meta-externalagent Disallow: / # 060-20260331-Gestion de l'agent "meta-webindexer" de Meta User-agent: meta-webindexer Disallow: / # 070-20260331-Gestion de l'agent "PerplexityBot" User-agent: PerplexityBot Disallow: /
