Google Crawling: robots.txt, metatag robots e x-robots-tag

Google ha pubblicato una mini guida per aiutare a comprendere il funzionamento del Crawling (ben diverso dall’indexing).
Non vi è nulla di nuovo, chi si occupa di Seo sicuramente conosce già a perfezione i 3 metodi indicati:

  • File Robots.txt
    • il primo file richiesto dai motori di ricerca, un vigile che aiuta lo spider a capire quali contenuti può recuperare e quali invece no;
    • funziona in modalità wide site.
  • Metatag robots
    • un metatag da inserire nell’header html delle pagine;
    • funziona solo sulla singola pagina;
    • utilissimo nelle paginazioni delle categorie per evitare pagine duplicate: <meta name=”robots” content=”noindex, follow”>.
  • X-Robots-tag
    • il meno conosciuto, va inserito nell’http header delle pagine;
    • utile per togliere le duplicazioni causate da alcuni parametri nell’url, ad esempio in combinazione con le espressioni regolari:
    • da utilizzare solo se seguiti da un Seo esperto.

spider1-423x400

Ecco la spiegazione dettagliata fornita da Google:  il crawling di Google.

E qui potete trovare un esempio pratico all’uso dell’x-tag-robots.

Buona lettura

Un Commento

Partecipa alla Discussione

Puoi usare i seguenti HTML tag e attributi: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>