Crawlerbeleid
KartdexBot is de crawler die voor Kartdex de websites van kartbanen leest. Deze pagina beschrijft hoe hij zich gedraagt en hoe je hem weert.
Gedrag
Hij identificeert zich als KartdexBot met een link naar deze pagina. Hij leest robots.txt voor elke site, inclusief padregels en crawl-delay, en haalt nooit een pagina op die een site verbiedt. Hij haalt een handvol pagina's per site (home, prijzen, openingstijden, contact, reserveren), wacht tussen verzoeken, begrenst de paginagrootte en komt ongeveer maandelijks terug om wijzigingen te controleren. Afbeeldingen downloadt hij alleen als ze prijsborden lijken, om de prijzen erop te lezen.
Wat er met de pagina's gebeurt
Feiten over de baan (prijzen, sessieduur, leeftijds- en lengtegrenzen, openingstijden, karttypes, reserveerwijze, faciliteiten) worden geëxtraheerd en gepubliceerd met een citaat en een link naar de bronpagina. Paginatekst wordt niet opnieuw gepubliceerd. Reviews worden nooit verzameld.
Uitsluiten
Zet User-agent: KartdexBot en Disallow: / in je robots.txt; de crawler stopt bij het volgende bezoek. Voor correctie of verwijdering van een bestaande vermelding gebruik je het correctieformulier of schrijf je naar .