Google Crawling: robots.txt, metatag robots e x-robots-tag

Google ha pubblicato una mini guida per aiutare a comprendere il funzionamento del Crawling (ben diverso dall’indexing).
Non vi è nulla di nuovo, chi si occupa di Seo sicuramente conosce già a perfezione i 3 metodi indicati:

• File Robots.txt
  • il primo file richiesto dai motori di ricerca, un vigile che aiuta lo spider a capire quali contenuti può recuperare e quali invece no;
  • funziona in modalità wide site.

• Metatag robots
  • un metatag da inserire nell’header html delle pagine;
  • funziona solo sulla singola pagina;
  • utilissimo nelle paginazioni delle categorie per evitare pagine duplicate: <meta name=”robots” content=”noindex, follow”>.

• X-Robots-tag
  • il meno conosciuto, va inserito nell’http header delle pagine;
  • utile per togliere le duplicazioni causate da alcuni parametri nell’url, ad esempio in combinazione con le espressioni regolari:
  • da utilizzare solo se seguiti da un Seo esperto.

Ecco la spiegazione dettagliata fornita da Google:  il crawling di Google.

E qui potete trovare un esempio pratico all’uso dell’x-tag-robots.

Buona lettura