crawl budget

Crawl budget: tutto quello che devi sapere!

Indice

Il budget di scansione è un concetto che spesso viene trascurato. Nella realtà questo è un fattore seo indiretto molto importante, che andrebbe ottimizzato. Il crawling è l’operazione attraverso la quale i motori di ricerca scansionano le pagine web, alla ricerca di nuove risorse da indicizzare. 

Cos’è il Crawl budget di Google?

Il Crawl Budget è la frequenza con cui i crawler dei motori di ricerca effettuano la scansione delle pagine di un sito web. In sostanza indica quante volte il motore di ricerca “fa visita a un sito”: supponiamo di avere 10 scansioni al giorno, mensilmente avrò 300/310 scansioni. Questo valore assume maggiore importanza in riferimento a siti di una certa dimensione, che pubblicano costantemente nuovi articoli. Più frequente è la scansione, maggiore è la probabilità di posizionarsi in tempi rapidi.

Perchè Google ha definito un budget?

Nel web ci sono miliardi di siti, qualcuno possiede anche migliaia di pagine. Effettuare la scansione sistematica di tutte le risorse richiederebbe notevoli risorse in termini di tempo e di hardware. 

Da qui è nata la decisione “obbligata” di limitare le risorse e il tempo dedicate ad ogni sito e di dedicare più budget a un sito rispetto ad un altro.

PERCHÈ QUESTO FATTORE VIENE SOTTOVALUTATO?​

Il crawl budget non è un fattore di classificazione diretto, perciò in molti equiparano questo fatto a una scarsa valenza. Questo però è un errore, soprattutto per i siti più grandi, come ha chiarito Gary Illyes di Google.

Basti considerare che ricevere visite frequenti del bot è una conferma che abbiamo fatto un buon lavoro. Se lo spider passa spesso ci permette di presentare agli utenti i nuovi contenuti, non appena li pubblichiamo.

Quali fattori influenzano il Crawl budget?

Se Google ci assegna un buon valore di budget, significa che ritiene il nostro sito e i nostri contenuti utili e di qualità.

I fattori che influenzano questa allocazione sono:

  • velocità del sito e facilità di raggiungere le risorse interne senza intoppi;
  • qualità dei contenuti: Google vuole fornire ai suoi utenti contenuti di valore e tende perciò ad “eliminare” quelli di poco valore e non aggiornati.

Con quali strumenti possiamo verificare il crawl budget?

Lo strumento principe che ci consentono di monitorare questo valore è la Search Console.

Possiamo accedere a queste informazioni al percorso:

Strumenti e rapporti precedenti>statistiche di scansione

crawl budget

Maggiore è il numero di pagine che Google scansiona ogni giorno, più grande è la considerazione che il motore di ricerca ha del tuo sito.

crawl budget

Il tempo di download ci dice quanto ci mette Googlebot a scansionare una pagina. Questo parametro dovrebbe possedere i minori valori possibili. Se il motore di ricerca impiega troppo tempo ad effettuare la scansione, potrebbe decidere di interromperla. 

È possibile cambiare la frequenza di scansione di Googlebot?

Riceviamo la risposta a questa domanda direttamente dalla Search Console: “Non puoi cambiare la frequenza con cui Google esegue la scansione del tuo sito. Se però vuoi che Google esegua la scansione dei contenuti nuovi o aggiornati del tuo sito, puoi richiedere una nuova scansione”. 

Come?

Attraverso lo strumento “controllo URL”.

Possiamo però adottare delle pratiche per aumentare il proprio crawl budget.”

Come ottimizzare il crawl budget

Si possono compiere diverse azioni per ottenere maggiore attenzione da parte di Google:

 

  1. Aggiornare i contenuti obsoleti in modo sostanziale, eliminando notizie non più valide ed integrando nuovi paragrafi;
  2. Produrre con costanza contenuti di qualità rispondenti al search intent dell’utente;
  3. Eliminare i contenuti duplicati sul sito;
  4. Aumentare la propria autorevolezza con una campagna di link building;
  5. Migliorare le prestazioni del sito, ponendo particolare attenzione alla velocità di caricamento delle pagine e iniziando ad agire sui core web vitals;
  6. Migliorare la struttura del dito, in modo che sia facilmente scansionabile da parte del bot di Google;
  7. Migliorare la rete di internal links;
  8. Eliminare i link rotti, che potrebbero impedire la scansione di contenuti di valore agendo da veri e propri “vicoli ciechi”;
  9. Eliminare gli errori di scansione rilevabili attraverso la search console;
  10. Mantenere aggiornata la sitemap.xml, escludendo risorse inutili (es. gli archivi autore).
  11. Evitare le catene di reindirizzamento attraverso il redirect 301. Per esempio è utile sostituire la sequenza pag A red 301 → pag B red 301→ pag C con un redirect diretto dalla pagina A alla pagina C.

 

Conclusioni

Il Crawl Budget non rappresenta un fattore di ranking diretto, ma certamente fornisce indicazioni che non possiamo trascurare sul giudizio di valore che Google ha nei confronti del nostro sito.  

Lavorare per ottenere una quota maggiore di budget, non può che apportare benefici ed è un elemento da tenere in grande considerazione!

Torna su