Scrivo questo articolo solo dopo parecchio tempo a causa di parecchie e enormi novità in casa posizionamento-seo e per questo non me ne abbiate a male.

Nell'attività di analisi del lancio di un nuovo sito è necessario comprendere il suo comportamento su motore di ricerca Google e nel dettaglio effettuare un esame dell’indicizzazione delle sue pagine nelle diverse SERP di pertinenza, per poi passare alla fase successiva, ossia al posizionamento.
Sommario

• L’attività di indicizzazione
  • Il lavoro dello spider
  • Inserire un sito nell'indice di Google
• Come controllare se un sito viene indicizzato
  • Visualizza come google
  • Tester del file rotots.txt
  • Il comando site
  • GSC - Statistiche di scansione
  • Analisi dei log di accesso al sito
  • Usare il plugin di Wordfence su WP per capire l’attività dello spider
  • GSC – Sitemap
  • GSC - Stato dell’indicizzazione
  • Quando viene indicizzato un sito?
  • Site VS Stato dell'Indicizzazione VS Sitemap

Attenzione ho espressamente fatto differenza tra INDICIZZAZIONE (ossia l’attività di crawling dello spider e dell’inserimento nell'indice del search engine) e POSIZIONAMENTO (ossia raggiungere delle posizioni valide, tipo i primi risultati sulla SERP nella prima pagina, per le query per cui abbiamo ottimizzato il nostro portale).

Indicizzazione ≠ Posizionamento, ma comunque una attività fondamentale nella #SEO, vediamo perchè Share on X

L'attività di indicizzazione

Il primo passo per posizionare un sito è quello di far "vedere" le nostre pagine. Se i nostri URL non vengono inseriti nell'indice del motore di ricerca il nostro sito non si potrà mai posizionare.

Solo dopo aver controllato che il nostro sito si sta correttamente indicizzando possiamo pensare di ottimizzare le nostre pagine per farle posizionare.

Il lavoro dello spider

Per comprendere come lavora un motore di ricerca nell'acquisizione di nuove risorse da schedare utilizziamo una semplice metafora: lo spider è un’auto che vaga in esplorazione per le autostrade della rete con il compito di trovare nuove risorse da consigliare alla propria utenza e per scegliere la propria destinazione ha dalla sua diverse risorse per compiere al meglio questa attività.

Ecco cosa potrebbe utilizzare lo spider di un motore di ricerca per trovare risorse da includere nel proprio indice:

• La segnalazione di un utente dell’intero sito (collegare search console al proprio sito);
• La segnalazione di un utente di un singolo URL (inserimento di un singolo URL in search console);
• La sitemap.xml (inserita direttamente in search console);
• La sitemap.xml (linkata nel file robots.txt);
• I link interni ad un sito;
• I link tra un sito e l’altro (i social sono dei siti eh, che vengono letti più o meno dagli spider a seconda dei casi);

Inserire un sito nell'indice di Google

Di mio tendenzialmente, una volta realizzato un sito già ottimizzato lato SEO (nel prossimo paragrafo ti accenno meglio ad una parte di questa mia puntualizzazione), lo collego a Search Console con più di un metodo (ad esempio url caricato via FTP, collegamento ad Analytics, metatag), inserisco la sitemap nel file robots e comunque la offro in pasto mediante l’apposita sezione in GSC Scansione > Sitemap > Aggiungi/Testa sitemap.

Poi utilizzo un tool che tutti i consulenti SEO smaliziati utilizzano a profusione: la pazienza. Ossia conscio di aver fatto tutte le cose correttamente non effettuo ulteriori azioni e aspetto che il sito venga scansionato naturalmente dallo spider. Ti dico questo per puntualizzare che nell'attività di posizionamento di un sito per un cliente è necessario fare le cose con sicurezza, per gli esperimenti consiglio di realizzare siti dedicati (che poi è anche divertente, non sapete quanti paciocchi si possono fare e alcune volte i risultati sono come quando costruiamo un enorme castello di sabbia in spiaggia e poi arriva un’onda o il classico bullo a distruggere tutto. Il bullo è negative seo e lo si picchia usando diversi strumenti cacciandolo via, l’onda è Google che ci ha detto hai sbagliato in qualcosa nel costruire il tuo sito li e ora ne paghi le conseguenze).

Come controllare se un sito viene indicizzato

Come vi ho accennato prima, di mio segnalo la presenza di un nuovo sito web al motore di ricerca solo dopo che ho controllato che sia ottimizzato lato SEO ossia dopo aver controllato che tutto sia a posto tecnicamente (ad esempio controllando robots.txt, sitemap.xml, effettuando una scansione con Screaming Frog/Visual SEO studio per l’analisi di possibili link interni con errore 404), che il menù di navigazione abbia una struttura corretta e studiata in base all'analisi delle query con cui lo si vuole posizionare in modo tale che lo spider capisca la priorità delle pagine da scansionare, più naturalmente tutte la altre attività SEO on-site del caso che non vi descrivo in questo articolo perché altrimenti non la finiamo più e andiamo fuori argomento.

Vediamo quindi alcuni degli strumenti che abbiamo a disposizione per comprendere l’indicizzazione di un sito web.

Visualizza come google

Eh ma che c’entra? Hai detto strumenti per capire se un sito è indicizzato! Si ma se lo spider del motore di ricerca non riesce ad accedere al tuo sito e a renderizzarlo correttamente come fai a farlo indicizzare? Se il menù di navigazione non viene visualizzato come farà lo spider a navigare tra le pagine? Quindi vai su Search Console > Scansione > Visualizza come Google, fai un recupera e visualizza e controlla che il tuo sito sia renderizzato correttamente.

Tester del file robots.txt

Anche qui, non c’entra con l’analisi dell’indicizzazione di un sito, ma se da GSC > Scansione > Tester dei file robots.txt hai un messaggio di errore in cui ti viene detto che il file blocca alcune risorse o che vi sono errori all'interno, sicuro il tuo sito non verrà indicizzato o ne verrà scansionata solo una parte.

Attenzione che se hai mandato online il tuo sito impostando il file robots.txt per bloccare la scansione dello spider e poi l’hai aperto prima di includerlo in GSC se il file è stato inserito in cache vi è il rischio che il suo aggiornamento avvenga in seguito, causando un ritardo nell'indicizzazione del sito.

Il comando site

Grazie all'operatore site:nomedominio.tld puoi verificare se il tuo sito è presente nell’indice di Google.

Attenzione! I risultati non sono attendibili, variano da connessione e periferica, non vengono restituiti in funzione dell’esatto momento in cui un contenuto è stato indicizzato e variano nel tempo. Per cui questo comando è da utilizzare come controllo ON/OFF: se restituisce sempre più risultati pertinenti relativi al tuo sito con il passare del tempo, il tuo dominio si sta indicizzando in maniera corretta (fino ad un massimale pari al numero complessivo di URL del tuo sito).

Di mio l’ho utilizzato recentemente mandando online un nuovo sito e controllando quali pagine si sono indicizzate prima (tipo quelle nei menù principali di navigazione) e notando che la pagina “Normativa sui cookie” è stata una di quelle indicizzate prima pur se con metatag “noindex”. Per questo ho prontamente modificato  tutti i link a quella pagina a “nofollow”, anche se interni al sito, per evitare spreco di crawl budget facendo attenzione a aggiungere l’attributo “nofollow” anche al popup con l’informativa breve che compare la prima volta che si visita il sito. Questo ha aiutato lo spider di Google a scansionare solamente le risorse pertinenti e in argomento con le parole chiave per cui vorrei far posizionare il dominio.

GSC - Statistiche di scansione

Anche questa sezione della search console non ci permette di capire se il nostro sito è indicizzato, ma è molto importante per vedere se lo sarà in seguito. Quindi se lo spider pian piano scansiona più pagine allora, come direbbe il narratore de L’odio siamo al punto in cui “fino a qui tutto bene” (il tuo sito incomincia a piacere a Google);

Analisi dei log di accesso al sito

Se non ti bastano le statistiche di scansione segnalate in search console puoi analizzare i log di accesso al tuo sito estratti dal tuo web server evidenziando il passaggio del bot di Google. Lo riconosci dallo user-agent .

Wordpress: utilizzare Wordfence per capire l’attività dello spider

Se hai Wordpress puoi utilizzare Wordfence, un plugin per la sicurezza, per analizzare se nel tuo sito passa effettivamente lo spider di Google e con quale frequenza, utilizzando la sezione “Live traffic” e filtrando il traffico per “Google Crawlers”. Molto interessante per capire QUALI pagine vengono scansionate in tempo reale.

GSC -Sitemap

La sezione sitemap della Search Console permette di capire quali e quante pagine e immagini si stanno indicizzando rispetto a quelle globali fornite al motore di ricerca. Tendenzialmente le pagine inviate e quelle indicizzate nel migliore dei casi dovranno coincidere e la crescita delle pagine indicizzate deve progredire nel tempo in maniera graduale.

Attenzione! Non confondete lo spider di Google e inserite nella sitemap solo le pagine che volete indicizzare escludendo quelle con metatag noindex e canonical.

GSC - Stato dell’indicizzazione

Questa sezione della search console lascia per alcuni aspetti il tempo che trova, ossia è utile per comprendere errori, risorse non indicizzate, etc ma non è ASSOLUTAMENTE aggiornata in tempo reale, anzi utilizza una frequenza di aggiornamento del tipo ACDC (non il gruppo rock eh, ma il metodo A C@zz0 di C@ne) e i valori cambiano da un giorno all’altro.

Per fare un esempio guardate questo grafico dello stato dell’indicizzazione

e confrontiamolo con le pagine indicizzate rispetto a quelle inviate con la sitemap

Direi che non c’è stato una brusca indicizzazione degli URL di questo giovine sito, ma semplicemente che il grafico dello stato dell'indicizzazione è stato aggiornato alla condizione più o meno reale relativa al 30 aprile (e comunque la sitemap per quel giorno mi segnalava 77 pagine indicizzate e non 29).

Quando viene indicizzato un sito?

Bene, ma in sostanza QUANDO incominciano a comparire i risultati relativi ad un sito in SERP? Dipende:

• Mai: non vi sono link esterni al tuo sito, non l'hai mai segnalato a Google, nessuno oltre a te è a conoscenza del dominio;
• Mai: hai impostato male il file robots.txt o il file robots ha un errore e google schifa e odia i tuoi URL;
• Mai: hai acquistato un dominio che pensavi davvero figo per fare il tuo nuovo sito, in realtà era stato fatto scadere e abbandonato perché super penalizzato da, ad esempio, una link building spam;
• Dopo 7/15 giorni: se hai fatto le cose bene;

Site VS Stato dell'Indicizzazione VS Sitemap

In ultimo vi presento un raffronto tra i dati forniti dal comando site, ad oggi, dal pannello Stato dell'indicizzazione in GSC e della Sitemap sempre in Google Search Console per il sito che ho utilizzato in questo articolo come caso studio:

Comando Site al 4 maggio: 407 risultati

Scheda Stato dell'Indicizzazione in Search Console al 30 aprile: 298 risultati

Scheda Sitemap in Search Console al 4 maggio: 356 risultati

Mi sono dimenticato qualcosa? Cosa usate voi per capire come e se è indicizzato il vostro sito?