Politique de crawl
KartdexBot est le robot qui lit les sites des pistes de karting pour Kartdex. Cette page décrit son comportement et comment l'exclure.
Comportement
Il s'identifie comme KartdexBot avec un lien vers cette page. Il lit robots.txt avant chaque site, y compris les règles par chemin et le crawl-delay, et ne charge jamais une page interdite par le site. Il consulte quelques pages par site (accueil, tarifs, horaires, contact, réservation), attend entre les requêtes, limite la taille des pages et revient environ chaque mois vérifier les changements. Il ne télécharge des images que lorsqu'elles semblent être des panneaux de tarifs, pour y lire les prix.
Ce qu'il fait des pages
Les informations sur la piste (tarifs, durées de session, âge et taille minimum, horaires, types de karts, mode de réservation, équipements) sont extraites et publiées avec une citation et un lien vers la page d'origine. Le texte des pages n'est pas republié. Les avis ne sont jamais collectés.
Exclusion
Ajoutez User-agent: KartdexBot et Disallow: / à votre robots.txt ; le robot s'arrête à la visite suivante. Pour corriger ou retirer une fiche existante, utilisez le formulaire de correction ou écrivez à .