Robots.txt

Robots.txt

« Torna al Glossario

Il robots.txt è un file che ha come scopo principale quello di dire ai motori di ricerca cosa non devono considerare importante all’interno di un determinato sito (e cosa sì); quindi, cosa è utile per l’indicizzazione e cosa invece va ignorato.

 

Una parte importantissima della SEO consiste nel riuscire a comunicare bene con i motori di ricerca, dando loro i giusti segnali, e spiegando loro come interpretarli. Ecco, per questa missione il file robots.txt è un valido alleato. È grazie a esso che comunichi ai crawler dei motori di ricerca (quei software che periodicamente vengono a cercare aggiornamenti nel tuo sito) quali sono le tue preferenze in termini di indicizzazione.

 

Per dirla ancora più semplicemente, e con un esempio banale: se vuoi che la home del tuo sito finisca certamente nelle ricerche Google, il robots.txt lo deve sapere; se non vuoi che ci finisca la pagina “chi siamo” il robots.txt lo deve sapere.

 

1. A cosa serve il robots.txt? Perché è importante per la SEO?

Dunque, abbiamo detto che il robots.txt viene scansionato dai bot dei motori di ricerca; vien da sé che puoi utilizzarlo per guidare Google (ma anche Bing e gli altri concorrenti) all’interno del tuo sito web. Hai capito benissimo, questo è uno strumento che ti permette letteralmente di fare da guida a Google. Hai bisogno di un altro esempio? Eccotelo servito.

Immagina che nel tuo sito web esista un’area riservata ai soli clienti, quella dei profili personalizzati. Il caso più tipico è quello del web store nel quale un utente si registra e nella sezione “il mio profilo” può vedere si suoi ordini, le sue transazioni, i punti fedeltà accumulati. Ecco, tu non puoi assolutamente permettere che Google acceda a quelle informazioni, o il cliente sentirà che la sua privacy è stata violata.

 

D’altro canto, curando dettagli come questo farai un favore anche a Google. Ponendo che il tuo sito si chiami venditaoggetti.com, Google vuole che gli utenti vi giungano a seguito della ricerca “vendita oggetti”, e una volta comparsi i risultati di ricerca la prima pagina raggiungibile deve essere la home del sito, non la pagina personale di un qualche cliente.

 

Come vedi, evitare che certe informazioni, pagine o cartelle vengano divulgate fa bene:

  • a te, webmaster o proprietario di un sito, perché gli utenti visiteranno solo le pagine che davvero ti interessa mostrare;
  • agli utenti registrati, che potranno utilizzarlo senza temere furti di identità;
  • agli internauti che lo cercano nei motori di ricerca, che avranno accesso solo alle pagine che hanno interesse di visitare;
  • a Google, che fornisce un servizio quanto più preciso possibile.

Insomma, è quello che in America chiamerebbero un win-win; una vittoria per tutti che però è possibile solo se il file robots.txt è configurato correttamente.

 

2. Come creare il file robots.txt

Se ti interessava soltanto sapere cosa sia un robots.txt, quanto detto in premessa e al punto 1. dovrebbe costituire un insieme di informazioni sufficienti a chiarire i tuoi dubbi. Per chi vuole scavare più a fondo, diamo in seguito qualche dettaglio aggiuntivo su come creare e gestire correttamente il file robots.txt.

 

Creare l’archivio robots.txt è davvero facile: basta usare un qualsiasi editor di testo. Andranno benissimo sia il blocco note di Windows che il TextEdit su Mac. Ovviamente, una volta creato lo rinomineremo «robots.txt» (senza le virgolette) e lo andremo a depositare nella root del nostro sito (una breve guida su cosa è la root di un sito e su dove si trova è consultabile qui). Questa operazione è generalmente possibile avvalendosi del pannello di controllo del proprio server.

Per verificare se l’operazione è avvenuta correttamente (o anche semplicemente se già disponi di un robots.txt e vuoi vedere che aspetto ha) ti basterà aggiungere la stringa «robots.txt» all’indirizzo del tuo sito. Per tornare all’esempio di sopra, se il sito si chiama https://venditaoggetti.com, il file robots.txt sarà visualizzabile digitando https://venditaoggetti.com/robots.txt.

Attenzione: data la sua importanza, il robots.txt dovrebbe sempre contenere anche la Sitemap del sito.

 

2.1. E se uso WordPress?

Se il tuo sito lavora su WordPress, molto probabilmente il file robots.txt esiste già; puoi controllare tu stesso digitando la stringa indicata sopra.

Se invece hai esigenza di creare o modificare il file, dovrai ricorrere a un plugin. Ne esistono diversi, e per semplice amore di brevità ne consigliamo uno fra i più diffusi, Rank Math. Useremo questo per fare un esempio, ma per ottenere lo stesso risultato andrà benissimo anche il ben noto Yoast.

 

Partiamo da Rank Math. Per creare/modificare il robots.txt bisogna partire dalla colonna degli strumenti presenti nella sezione Admin del sito e cliccare su Rank Math. Qui, selezionare poi General Settings e poi ancora Links. Si aprirà una nuova finestra, e qui cliccheremo su Edit robots.txt.

 

Nel caso di Yoast, invece, sempre dalla colonna degli strumenti selezioniamo in ordine:

SEO > strumenti > modifica file

Si aprirà una nuova pagina, e qui potremo creare o modificare il nostro file robots.txt.

 

3. I comandi principali di un file robots.txt

Prima di chiudere, diamo qualche glossa su quelli che sono i comandi principali che è possibile inserire in un file robots.txt per chi vuole mettersi alla prova e crearne uno in autonomia. Ricordiamo, tuttavia, che questa è un’operazione che sarebbe saggio lasciare fare a un esperto di SEO.

 

  • Bloccare il monitoraggio dell’intero sito

User-agent: *

Disallow: /

 

  • Bloccare il monitoraggio di una pagina

 

User-agent: *

Disallow: /link-pagina-che-non-deve-essere-indicizzata

 

  • Bloccare il monitoraggio di una cartella

 

User-agent: *

Disallow: /cartella/

 

  • Garantire il monitoraggio di una pagina

 

User-agent: *

Allow: /pagina

 

  • Garantire il monitoraggio di una cartella

 

User-agent: *

Allow: /cartella

  • Indicare la Sitemap (importantissimo!)

Sitemap: https://nomesito.it/sitemap.xml

 

Questi sono i comandi fondamentali, che chiunque voglia iniziare a smanettare con il robots.txt deve conoscere. Naturalmente ne esistono molti altri, ma non è questo lo spazio per parlarne approfonditamente. Chi fosse interessato può consultare una delle tante guide presenti sul web, ma come al solito un’ottima base da cui partire la fornisce Google stesso.

 

4. Tester dei file robots.txt

Se correttamente configurato e posizionato, il file robots.txt sarà raggiungibile all’indirizzo iltuodominio.it/robots.txt.

Per verificare che tutto funzioni correttamente puoi utilizzare il tester di Google Search Console, a cui puoi accedere direttamente da questo link.

Tag: Seo
« Torna al Glossario