Come funziona un web crawler: spider e indicizzazione
Risposta breve
Un web crawler è un programma che scarica le pagine web una dopo l'altra, ne legge il codice per estrarre testo e collegamenti, e segue quei collegamenti per trovarne altre. I motori di ricerca lo usano per costruire l'indice su cui girano i risultati, decidendo quanto spesso tornare su ogni pagina in base a quanto cambia.
Punti chiave
- Un web crawler scarica una pagina, ne ricava i link e ripete il ciclo sugli URL messi in coda.
- La scansione parte da indirizzi già noti o da una sitemap e avanza di collegamento in collegamento.
- Il file robots.txt dice al bot cosa può visitare, ma il rispetto delle regole resta volontario.
- Il crawler non vede la grafica: legge titolo, meta tag, intestazioni e testo del corpo.
- Troppe richieste al secondo possono mettere in difficoltà il server che ospita il sito.
Come funziona un web crawler in pratica: il bot contatta il server che ospita una pagina, ne riceve il codice HTML, ne ricava testo e link e poi avvia una nuova richiesta per ognuno dei link trovati. Il processo va avanti finché restano pagine da visitare, oppure finché non si esauriscono il tempo e le risorse assegnati al crawler. I motori di ricerca usano questi programmi, noti anche come spider, spiderbot o bot, per costruire l'indice su cui girano i risultati di ricerca.
Chi gestisce un sito ha un interesse diretto in questo meccanismo: se il crawler non arriva a una pagina, quella pagina non può comparire nei risultati. Sapere dove il bot si ferma, cosa legge e cosa ignora è il primo passo di qualsiasi lavoro di SEO tecnica.
Le fasi di una scansione, in ordine
Una scansione segue sempre la stessa sequenza, anche se i tempi variano da sito a sito.
- Scoperta. Il crawler parte da un elenco di URL iniziali, spesso una sitemap o un indirizzo già noto, e li mette in coda.
- Richiesta. Per ogni URL in coda invia una richiesta HTTP al server, che risponde trasmettendo l'HTML della pagina.
- Analisi. Il programma legge il codice ricevuto, separa il contenuto testuale dai tag e raccoglie tutti i collegamenti presenti.
- Accodamento. I nuovi link entrano nella coda, i duplicati vengono scartati e il ciclo riparte dal punto due.
Una pagina non entra nell'indice nello stesso istante in cui viene scaricata. Il contenuto passa prima per una fase di elaborazione, in cui il motore valuta rilevanza e qualità, e solo dopo viene archiviato.
Cosa cerca il crawler dentro una pagina
Il bot non guarda la grafica come farebbe una persona. Legge il codice e cerca elementi precisi: il tag del titolo, i meta tag, i tag di intestazione e il testo del corpo. Da questi ricava di cosa parla la pagina e quanto può essere utile per una determinata query.
Un sito costruito interamente in JavaScript pone un problema in più: l'HTML iniziale può essere quasi vuoto e il contenuto compare solo dopo l'esecuzione degli script. I motori moderni sanno renderizzare le pagine, ma il processo consuma più risorse e non sempre copre tutto. Se il contenuto essenziale è già nell'HTML, il crawler lo trova senza ambiguità.
I collegamenti contano quanto il testo, perché ogni link è un percorso che il bot può seguire per scoprire URL nuovi. Una pagina isolata, che nessun'altra pagina punta, rischia di restare invisibile: per questo le sitemap XML e una struttura ordinata di link interni fanno la differenza.
Come funziona un web crawler quando decide cosa riscaricare
Il web cambia di continuo e nessun motore può riscaricare tutto ogni giorno. Esiste quindi una politica di aggiornamento, cioè una regola che stabilisce quanto spesso tornare su una pagina.
Due strategie sono state confrontate in modo formale. La politica uniforme riscarica le pagine a intervalli uguali; quella proporzionale dedica più risorse alle pagine che cambiano spesso. Il risultato controintuitivo è che la politica uniforme mantiene in media i contenuti più freschi. La spiegazione sta nel limite di pagine che un crawler può scaricare in un dato periodo: assegnando troppe visite alle pagine instabili si sottraggono risorse alle altre, e la freschezza guadagnata su una pagina che cambia in fretta dura comunque poco.
Nella pratica il crawler stima la frequenza di cambiamento osservando quante volte il contenuto risulta diverso da quello salvato, e regola il ritmo di visita di conseguenza.
robots.txt: le regole che il crawler legge prima di entrare
Prima di esplorare un sito, un crawler ben educato controlla il robots.txt e la sua sintassi nella directory principale. Quel file dichiara quali risorse sono permesse e quali vietate, e il bot si orienta in base a quel file, seguendo alcuni link e ignorandone altri. Il rispetto di queste regole è volontario: un crawler scritto male o malevolo può ignorarle, e in quel caso serve un blocco lato server.
Trappole per spider e carico sui server
Alcuni siti generano pagine in modo dinamico e producono combinazioni di URL potenzialmente infinite: calendari, filtri, sessioni. Un crawler che segue ogni variante può restare intrappolato in quella che viene chiamata spider trap, scaricando migliaia di indirizzi che portano allo stesso contenuto.
Una contromisura storica consiste nell'evitare gli indirizzi che contengono il punto interrogativo, cioè le risorse prodotte dinamicamente. Il rimedio però non è affidabile sui siti che riscrivono gli URL per renderli più leggibili, perché il parametro nascosto non è più visibile nell'indirizzo.
Esiste anche un approccio opposto, pensato per raccogliere tutto il possibile: il crawler che risale i percorsi. Partendo da un indirizzo come /hamster/monkey/, il crawler prova a risalire anche a /hamster/ e alla radice del sito. Grazie a questo metodo è più facile scovare le pagine isolate, quelle a cui nessun altro link del sito rimanda.
Il rovescio della medaglia riguarda il server che ospita il sito. Un crawler legge e scarica contenuti a una velocità e con un'ampiezza che nessun visitatore umano può raggiungere: quando le richieste si susseguono a raffica o i file pesano molto, il server può non riuscire a stare al passo, tanto più se a lavorare in parallelo sono più bot.
Chi usa i crawler oltre ai motori di ricerca
I motori di ricerca sono l'utente più noto, non l'unico. I ricercatori universitari li impiegano per raccogliere dati da analizzare; chi lavora nel marketing li usa per studiare concorrenti e clienti; gli strumenti di SEO li sfruttano per verificare link rotti, redirect e metadati duplicati. Esistono poi crawler con intenti diversi, che raccolgono informazioni private o sovraccaricano il sito con richieste continue.
| Tipo di crawler | Chi lo gestisce | Scopo principale |
|---|---|---|
| Googlebot | Scoprire pagine e alimentare l'indice di ricerca | |
| Bingbot | Microsoft | Indicizzare i contenuti per il motore Bing |
| Crawler SEO | Software di analisi | Audit tecnico: link, redirect, metadati |
| Crawler accademico | Università e istituti | Raccolta dati per studi e ricerche |
| Scraper | Operatori vari | Estrazione di contenuti, spesso senza autorizzazione |
Come verificare se un crawler è passato sul tuo sito
Il registro del server elenca tutte le visite, crawler compresi. Basta cercare i nomi degli user agent: quello di Google compare come Googlebot/2.1. Il campo è però falsificabile, quindi per sicurezza conviene incrociare l'indirizzo IP con gli intervalli ufficiali dell'operatore.
Per confrontare quello che vede il bot con quello che vede un utente, la console del browser è lo strumento più diretto: si apre con i tasti funzione da F1 a F12 e mostra l'HTML, le richieste di rete e gli eventuali errori. Quando si controllano molti URL, dividere lo schermo tra il registro e la pagina accelera il lavoro: le scorciatoie da tastiera per dividere le finestre evitano di saltare di continuo da una scheda all'altra. Se un errore va documentato per chi sviluppa, conviene catturarlo con i tasti per screenshot invece di descriverlo a parole.
Errori che impediscono l'indicizzazione
- Blocchi in robots.txt lasciati attivi dopo il passaggio dal sito di prova a quello online.
- Tag noindex rimasti nelle pagine, che le escludono dall'indice anche se il crawler le ha scaricate.
- Contenuto caricato solo dopo il clic, invisibile a un crawler che non esegue gli script.
- Link interni rotti che interrompono i percorsi verso le sezioni più profonde.
- Server lento o instabile, che riduce la frequenza con cui il bot torna a visitare il sito.
Il crawler non è un giudice del contenuto: è un programma che raccoglie e trasporta dati. Quello che non riesce a scaricare o non può seguire non entra nell'indice, e nessun algoritmo di ranking può recuperarlo in seguito.
Altre domande frequenti
Quanto tempo passa tra la pubblicazione di una pagina e la sua indicizzazione?
Non esiste un tempo fisso. Dipende dalla frequenza con cui il bot visita il sito, dall'autorità dei link che puntano alla pagina e dal carico del server. Su un sito attivo e ben collegato possono bastare poche ore, su un sito nuovo servono giorni o settimane.
Un web crawler esegue il codice JavaScript delle pagine?
I motori moderni sì, ma il rendering costa risorse e non sempre copre tutto il contenuto. Se le informazioni essenziali sono già presenti nell'HTML iniziale, il crawler le trova prima e con meno ambiguità.
Cosa accade se il mio robots.txt blocca l'intero sito?
Il crawler evita le pagine indicate e non le scansiona. Le pagine già presenti nell'indice possono restare visibili per un po', ma senza nuove scansioni il contenuto non viene aggiornato e le pagine nuove non entrano nei risultati.
Come riconosco un crawler falso?
Lo user agent da solo non basta, perché chiunque può dichiarare di essere Googlebot. Si verifica l'indirizzo IP della richiesta confrontandolo con gli intervalli ufficiali pubblicati dall'operatore del motore di ricerca.
Un crawler può danneggiare un sito?
Può rallentarlo se fa molte richieste al secondo o scarica file pesanti, e alcuni bot raccolgono contenuti o dati senza autorizzazione. Un blocco lato server o un limite di frequenza riduce il problema.
Pagine correlate
- Storia dei primi motori di ricerca internet: evoluzione
I primi strumenti di reperimento delle informazioni su Internet nacquero per organizzare archivi di file remoti e directory universitarie prima della diffusione massiva del World Wide Web. Dagli indici basati su elenchi FTP come Archie all'introduzione dell'analisi del testo integrale con WebCrawler, i sistemi di ricerca hanno progressivamente automatizzato la scansione e l'ordinamento delle pagine online. L'evoluzione tecnologica ha poi portato a modelli di monetizzazione pubblicitaria e algoritmi di classificazione basati sulle relazioni ipertestuali tra nodi di rete.
- Cos e un metamotore: definizione, architettura e uso
Un metamotore di ricerca è uno strumento software che interroga simultaneamente diversi motori di ricerca esterni e aggrega le loro risposte all'interno di un'unica pagina. Invece di mantenere un proprio catalogo del web tramite web crawler autonomi, inoltra la richiesta dell'utente tramite API o feed e fonde i risultati ricevuti eliminando le voci duplicate.
- Come funzionano i motori di ricerca privati: guida
I motori di ricerca privati proteggono i dati personali eliminando l'indirizzo IP, rimuovendo gli identificatori univoci e bloccando i cookie di tracciamento prima di elaborare qualsiasi richiesta. Alcuni operano come proxy anonimi verso indici esterni, mentre altri gestiscono crawler proprietari per evitare la condivisione di informazioni. Questa architettura impedisce la creazione di profili comportamentali basati su salute, preferenze politiche o abitudini finanziarie.
- Come funziona la ricerca semantica: guida e vettori
La ricerca semantica individua le informazioni interpretando il significato e l'intento contestuale di una richiesta invece di verificare la semplice presenza delle singole parole. Attraverso il vector retrieval, testi o altri contenuti multimediali vengono convertiti in vettori numerici densi all'interno di uno spazio geometrico multidimensionale. Il motore calcola la prossimità matematica tra il vettore della query e quelli archiviati, restituendo i documenti concettualmente più pertinenti.
- Ricerca organica vs a pagamento: differenze e costi
La ricerca organica include i collegamenti non retribuiti posizionati dall'algoritmo in base a pertinenza, contenuti tecnici e autorevolezza, mentre la ricerca a pagamento posiziona annunci sponsorizzati regolati da modelli ad asta pay-per-click. Il canale organico richiede tempo e genera rendimenti cumulativi duraturi, mentre il canale a pagamento garantisce posizionamenti immediati ma cessa di produrre visite non appena si esaurisce il budget stanziato.
- Operatori di ricerca Google: guida ed esempi pratici
Gli operatori di ricerca avanzata sono parametri speciali e caratteri che modificano il funzionamento delle interrogazioni standard all'interno del motore di ricerca. Consentono di circoscrivere le risposte a specifici domini, estensioni di file, titoli di pagina o segmenti di URL. La loro combinazione logica rende possibile isolare dati nascosti, verificare problemi di indicizzazione e analizzare l'architettura dei siti web.
Come è stata preparata questa pagina
Prima della stesura, l’argomento è stato studiato sulle fonti qui sotto. La pagina ha poi superato controlli di qualità automatici.