Howtoweb.it

Come verificare il corretto accesso dei Robot dei motori di ricerca al proprio sito

Può accadere che il proprio sito venga improvvisamente cancellato dagli indici di un motore di ricerca, con un ovvio sgomento e terrore da parte del possessore.

L’eventualità purtroppo non è rara e di norma è una conseguenza diretta di una violazione alle linee guida dettate da Google ai webmaster. Le motivazioni possono essere molte,  testo nascosto, contenuto inappropriato, redirect e molte altre.

Una delle casistiche che mi ha sempre intimorito di più è il cloaking, che consiste nel proporre agli utenti un determinato contenuto, deviando però i robot dei motori di ricerca su un’altra pagina e alterare così l’indicizzazione.

Normalmente si evita di applicare intenzionalmente questa tecnica, in quanto Google riesce facilmente ad individuare questo genere di trucchi in quanto utilizza anche persone vere per la verifica dei siti oltre ai Robot .

Può capitare però che a causa di un errore umano o di un exploit sul nostro spazio web venga modificato per esempio il file .htacces con un redirect solo per gli spider dei motori di ricerca. Nel caso non ci siano modifiche palesi al sito risulta molto difficile accorgersi di questo problema intanto google avrà tolto le nostre pagine dall’indice.

E’ sempre possibile richiedere a Google di riconsiderare il motivo dell’esclusione dall’indice ma questa operazione richiede qualche tempo. Intanto si potrebbe  verificare la corretta risposta del server ai robot dei motori di ricerca con questo semplice tool che ci presenta la risposta del server in base ai diversi user-agent.

La stessa procedura è eseguibile con firefox (vedi un esempio in questo articolo) ed esistono numerosi addon per gestire questo tipo di verifica, ma questa soluzione da browser mi risulta molto comoda e veloce per controlli preliminari.

Per chi volesse approfondire argomenti simili suggerisco questo recente articolo di Davide Casali che parte da un’esperienza reale per descrivere verifica, analisi e soluzioni ad un exploit sul proprio sito web.

Tag: blog, browser, Google, seo