Politica di crawling
KartdexBot è il crawler che legge i siti delle piste di kart per Kartdex. Questa pagina descrive come si comporta e come escluderlo.
Comportamento
Si identifica come KartdexBot con un link a questa pagina. Legge robots.txt prima di ogni sito, incluse le regole per percorso e il crawl-delay, e non scarica mai una pagina vietata dal sito. Consulta poche pagine per sito (home, prezzi, orari, contatti, prenotazione), attende tra le richieste, limita la dimensione delle pagine e torna circa ogni mese per verificare i cambiamenti. Scarica immagini solo quando sembrano tabelle dei prezzi, per leggerne i prezzi.
Cosa fa con le pagine
I dati della pista (prezzi, durata delle sessioni, età e altezza minime, orari, tipi di kart, modalità di prenotazione, servizi) vengono estratti e pubblicati con una citazione e un link alla pagina di origine. Il testo delle pagine non viene ripubblicato. Le recensioni non vengono mai raccolte.
Esclusione
Aggiungi User-agent: KartdexBot e Disallow: / al tuo robots.txt; il crawler si ferma alla visita successiva. Per correggere o rimuovere una scheda esistente, usa il modulo di correzione o scrivi a .