WebcrawlBot

Le robot du générateur de sitemap

WebcrawlBot est le robot de Webcrawl. Il ne parcourt jamais le web de lui-même : il visite un site uniquement quand un utilisateur demande à générer son sitemap ou à analyser ses fichiers publics (robots.txt, sitemaps, llms.txt…).

Identification

Bonnes pratiques

• Il lit votre robots.txt avant d'explorer et obéit toujours aux règles qui le visent par son nom.
• Il télécharge au plus 6 pages en même temps et s'arrête à 50 000 pages par exploration.
• Il ne soumet aucun formulaire, ne se connecte à aucun compte et ne conserve aucune page.

Bloquer WebcrawlBot

Ajoutez ces lignes à votre robots.txt :

Pour toute question : page Contact.