Attenzione! Nel caso Google non riesca a scansionare robots.txt, a causa di errori nel file, lo spider del noto motore di ricerca smetterà di scansionare l'intero sito.
Ne veniamo a conoscenza grazie ad un articolo del consulente SEO Eric Kuan apparso sul forum dedicato all'aiuto per i webmaster.
Se Google ha problemi durante la scansione del file robots.txt fermerà la scansione di tutto il tuo sito. Se questo problema accade una volta ogni tot niente di che preoccuparsi, ma se questo problema accade di frequente è ora di correre ai ripari contattando l'host o chi vi fornisce lo spazio per il sito analizzando i dati in cui hai notato l'errore di scansione del relativo file robots.txt (da pannello dei webmaster di google)
Ma cosa vuol dire?
Nel caso non abbiate il file robots.txt niente, ma nel caso di sua presenza e restituzione di errore 500 meglio correre ai ripari e risolvere il problema della mancanza o non accessibilità del file!
In caso di errore 404 invece nessun problema, semplicemente non daremo direttive al motore di ricerca su cosa scansionare e cosa no.
pino
Nato con la passione per l'informatica da mamma Access e papà ASP nel 2002 rinnego repentinamente la mia paternità facendomi adottare da papà PHP e mamma SQL.
Allevo HTML e correlati fiori in CSS mentre vedo i frutti del mio orticello SEO crescere grazie alla passione e alla dedizione della coltura biodinamica; perchè il biologico è fin troppo artificiale.
Realizzo siti internet a tempo pieno, nei restanti momenti mi occupo di redigere articoli per questo sito e saltuariamente far esperimento nel mare che è internet.
