Si stima che nel World Wide Web sono presenti più di 10 miliardi di pagine.
Un’immensità d’informazioni, potenzialmente infinite, dove fare una ricerca sarebbe impossibile senza gli strumenti adatti.
È necessario quindi che qualcuno o qualcosa, come ad esempio un algoritmo, sia in grado di analizzare e archiviare i dati presenti nel web, mettendo in ordine gli stessi in modo da renderli velocemente accessibili e conoscibili.
Per questo motivo l'utilizzo di Internet non può prescindere dai motori di ricerca.
Ma in che modo i siti come Google svolgono la loro funzione? Un motore di ricerca opera fondamentalmente attraverso tre processi principali: scansione (crawling), indicizzazione (indexing), ranking e creazione della SERP (searching).
Grazie a questi processi quando s’inserisce all’interno della barra di ricerca una query (richiesta), in una frazione di secondo viene restituita all’utente una pagina contenente i risultati corrispondenti, classificati (ranking) per importanza e/o rilevanza.

Per far visualizzare un sito web nelle prime posizioni del motore di ricerca è necessario conoscere bene il funzionamento di questi enormi "indici", per poterne sfruttare al meglio i meccanismi di posizionamento.

Il processo di scansione (o crawling)

La prima fase dell’intero processo eseguito dal motore di ricerca è la scansione del web.
La fase di crawling parte dai siti ritenuti più autorevoli e viene effettuata attraverso degli appositi software chiamati spider (o crawler o robot).
Questi esaminano il codice html di tutti i documenti presenti sul web, di qualsiasi tipologia essi siano (testo, immagini, video….). Lo spider durante quest’analisi si sofferma su alcune parti specifiche che compongono il codice (fase di parsing):il <title> della pagina, la meta description, gli alt text delle immagini, le parti in grassetto o in corsivo del testo e i link.
Tra queste specifiche componenti, il software andrà alla ricerca delle parole chiavi più ricorrenti e rilevanti che saranno poi utili nel processo di indicizzazione.
Inoltre lo spider durante questa fase trasferirà i documenti all’interno di un gigantesco database.
Il viaggio che compie lo spider nel web, passando da una pagina all’altra, è reso possibile dalla capacità che questi software hanno di riconoscere i link e contemporaneamente utilizzarli per trasferirsi alla pagina collegata.
Il processo di crawling ovviamente è iterativo, cioè lo spider a intervalli regolari ritornerà sui siti già scansionati alla ricerca di variazioni e nuovi contenuti.
In caso di novità rilevate, salverà di volta in volta l’ultima versione.

Il processo d’indicizzazione (o indexing)

Nella fase d’indicizzazione l’imponente mole di documenti web, trasferita precedentemente sui database, viene messa in ordine.
Il motore di ricerca attraverso dei particolari algoritmi classifica le pagine per parole chiave (quelle catturate dallo spider), categorie, tematiche e in base a diversi altri parametri creando una vera e propria biblioteca.
La risorsa può essere indicizzata in diversi livelli: può essere archiviata in modo permanente o temporaneamente, oppure può essere inserita in indici secondari o specializzati (per esempio nell’indice riservato esclusivamente alle immagini). Quindi nel momento in cui l’utente avvia una ricerca, il motore non andrà a consultare, per come siamo abituati a pensare, l’intero web bensì il proprio database (la propria biblioteca) contenente i dati già perfettamente ordinati.
È grazie a questo meccanismo che è possibile avere in tempi così veloci la pagina di risposta con i contenuti ricercati.

Ranking e creazione della SERP

Quando l'utente inserisce la query di ricerca, il motore attraverso evoluti e raffinati algoritmi preleva dagli indici i documenti più vicini semanticamente alla query, ordinandoli poi in una sorta di classifica.
La maggior parte dei motori di ricerca, per decidere questo ranking, prendono in considerazione più di 200 fattori, tra questi abbiamo:

• Le parole più frequentemente ricercate all’interno della pagina;
• la presenza o meno delle parole che formano la query nell’URL, nel meta-tag title, nel titolo e nelle prime righe del testo;
• i sinonimi delle parole ricercate nel testo;
• la qualità del sito;
• l’importanza del sito, stabilita dal motore di ricerca attraverso l’analisi semantica e l’analisi dei link in entrata verso di esso.

La pagina con i risultati della ricerca è la classifica finale, chiamata SERP (Search Engine Results Page) e stilata in modo decrescente dal contenuto migliore (voto più alto) al peggiore (voto più basso).

L’analisi semantica e l’analisi dei link

L’analisi semantica è lo strumento con cui vengono individuati all’interno di un database le risorse associate ad un gruppo di parole o frasi (query).
Con l’analisi dei link, invece, viene stimata la quantità e la qualità dei link in entrata (backlink) verso una determinata risorsa.
Da questa valutazione il motore di ricerca stabilisce il valore di un contenuto web e separa quelli utili dagli spam.