Noindex o Robots.txt?

by francesco 2.789 views3

L’attributo Noindex del meta robots non serve a deindicizzare la pagine web, solo a farle sparire dai risultati di ricerca. Le pagine rimangono nell’indice e continuano a pesare sulla scansione.

Si può ottimizzare un sito web usando il Noindex?

Partiamo subito dal dire che il Noindex è raramente una misura SEO ottimizzante per un sito web con troppe pagine ridondanti. Il mio suggerimento è sempre fare l’esame di coscienza al sito web, che si traduce in una bella analisi di indicizzazione e scansione finalizzata a trovare e tagliare i contenuti inutili.

Se il tuo sito web presenta una nutrita area di pagine molto simili tra loro, lontane per argomento o inutilmente povere di contenuto, non è mettendo tutte queste pagine in noindex che risolverai il problema, ma tagliandole, accorpandole dove serve o migliorandole quando possibile. A volte basta una riga di codice per risolvere un problema SEO grave, altre volte occorre ripensare un intero progetto, ristrutturarlo dalle fondamenta.

 

Un problema semplice: i forum

I forum sono una tipologia di sito web spesso affetta da questo problema. Per alcune strutture capita che ogni risposta a un thread venga mostrata nello stesso thread, ma allo stesso tempo venga indicizzata come pagina a sé. Questo andamento rischia di affondare via via il crawl budget del sito, facendo calare i posizionamenti per le pagine buone. In questo caso, più che mettere le pagine con le risposte (inutili e spesso ridondanti) in noindex o canonicalizzarle alla pagina principale del thread, potrebbe essere più efficace reindirizzarle automaticamente a ciascun thread o in alternativa bloccarne la scansione attraverso il file robots.txt.

Preferisco la prima alla seconda soluzione perché da questo punto di vista sono spartano. Se una pagina non serve tirala via e reindirizzala a un’altra pertinente, non c’è bisogno di mettere in pratica artifici da cintura nera SEO.

 

I tag in noindex

Molti SEO bloccano a monte il percorso degli archivi tag dal robots.txt. Lo fanno per evitare che un “CopryWater” ne faccia indicizzare a iosa senza nemmeno rendersene conto. Certo, meglio bloccare la scansione che metterli in noindex, ma sarebbe meglio ancora PULIRE i tag in eccesso, accorparli, svilupparli con il testo introduttivo dove serve, in una parola: gestirli. Rispetto ai tag ho visto siti web crollare per situazioni che voi umani non potete nemmeno immaginare, ma anche recuperi importanti a seguito di una buona (in certi casi costosa) pulizia.

 

Posizionare archivi con il noindex

Impostando gli articoli interni di un archivio con il meta robots noindex, si può dare più spinta agli archivi stessi che li aggregano per categoria o per tag. Vediamo come e perché.

A prima vista sembrerebbe una follia e in effetti ogni volta che suggerisco questa strada c’è sempre chi mi guarda con l’aria di Arnold quando dice: “che cavolo stai dicendo Willis”, ciò non ostante, oggi ti suggerisco da un lato una tecnica di disambiguazione efficace e dall’altro il modo per creare una verticalizzazione forte sugli archivi.

Immagina di avere una category o un tag che si chiama “legge sulle pensioni”. Questa category (o tag) aggrega tutti gli articoli di un giornale che riporta notizie su quanto viene discusso a Montecitorio in merito alle pensioni. Ora quello che dovremmo fare in assoluto è dire tante cose importanti nel modo migliore, una volta sola. Diciamolo tutti insieme (ripeti con me)

tante cose importanti, nel modo migliore, una volta sola

Ecco, se hai chiaro questo concetto sei davvero pronto per fare SEO, ma per ora concentriamoci sulle pensioni, quelle che si dice non vedrai. Probabilmente gli articoli nella categoria saranno tutti resoconti di interrogazioni parlamentari, discussioni, polemiche e commenti politici, parecchi dei quali con caratteristiche (e titolo) simili. Quanto più i significati espressi saranno vicini da contenuto a contenuto, tanto più correremo il rischio di confondere Google nella scelta dei risultati da proporre in serp. Ricorda che spesso non è opportuno usare il rel canonical in caso di contenuti “molto simili”, ma solo per i contenuti quasi del tutto “uguali”, come spesso accade per gli e-commerce in cui i prodotti di una categoria sono in tutto uguali tranne che ad esempio per il colore o per l’anno di produzione. In questo caso il canonical va bene, altrimenti lo eviterei.

 

Come lavora Google sulla visibilità dei contenuti aggregati

Mediamente una category o un aggregato per tag si posizionano meglio per la chiave secca (vedi la strategia degli archivi) e offrendo più informazioni messe insieme, competono più efficacemente rispetto a contenuti singoli ottimizzati per la stessa chiave. Un problema che ci si potrebbe trovare ad affrontare sono però come detto poc’anzi gli articoli molto simili tra loro nello stesso aggregato di contenuti.

Gli articoli di una categoria spesso finiscono anche con l’essere ottimizzati per le stesse keywords, quindi non competono solo con i contenuti sui siti dei concorrenti, ma addirittura tra di loro. Per questo motivo, una cosa che puoi fare in questi casi è mostrare solo la categoria, tenendo tutti gli articoli interni in noindex, follow. In questo modo il bot leggerà i contenuti dei singoli articoli, seguirà i link al loro interno e attribuirà valore al testo nell’insieme, ma non li mostrerà in serp.

Nella situazione in cui il bot ha accesso a tutti i contenuti di una category, potendo però mostrare solo quest’ultima, Google tenderà a spingere con forza in serp il contenuto che aggrega posizionandolo anche per le keyphrase presenti nei singoli articoli. Succede perché a queste condizioni, l’archivio è l’unica porta rimasta aperta.

Questa pratica è rischiosa, perché se non sai in partenza quali pagine del tuo sito web fanno traffico da Google, rischi di perdere una montagna di visite. È una pratica raramente applicabile, che tuttavia ti suggerisco di testare prima o poi.

 

Attenzione alle news

Questa tecnica è applicabile anche ai siti di news, con l’eccezione che la notizia “fresca”, all’interno di una category, nella prima settimana va fatta mostrare, proprio perché si troverà a competere con altre notizie attuali su un certo argomento. Quando il periodo di permanenza in Google News sarà finito (fisiologicamente in 7 / 10 giorni), sarà possibile mettere in noindex quel contenuto a vantaggio della category che lo contiene.

E quindi, un sacco di belle cose… 🙂

  • Segnalo una cosa curiosa che mi era successa con il sito di un cliente.
    Sito nuovo mai stato on-line su dominio vergine.
    Per essere strasicuro, alcune pagine le avevo sia marcate come noindex che messe nel robots.txt, dunque in teoria non dovevano venire indicizzate.
    Per una svista però le avevo inserite anche nella sitemap.
    Dopo una settimana dalla prima pubblicazione Google le aveva indicizzate comunque.
    Morale: se una pagina la metti nella sitemap, verranno ignorati sia i robots che i noindex (io mi sarei aspettato il contrario).
    Magari era un bug che poi Google ha risolto…

    • dunque, intanto mi consenti di ricordare che le sitemap non sono un’aspetto secondario della SEO, ma sono importanti! A gestirle male i progetti web precipitano. Nel tuo caso è possibile che ci sia stata qualche ora di delay tra la pubblicazione della sitemap e il bocco delle risorse da robots.txt? Sarebbe già sufficiente a spiegare tutto. In ogni caso la search console segnala quando una risorsa presente in sitemap è bloccata o in noindex.

      • In realtà era molto più macroscopico.
        Volevo mostrare al cliente il sito nuovo prima della pubblicazione, sicché l’avevo messo su un dominio temporaneo.
        Avevo messo un bel disallow nel robots e noindex su TUTTE le pagine per evitare che Google mi indicizzasse il sito temporaneo.
        Però purtroppo avevo pubblicato anche la sitemap.
        Dopo 2 settimane tutto il sito temporaneo era indicizzato.
        E ti dirò di più.
        Dopo aver pubblicato quello definitivo, ho messo un bel redirect permanente di ogni singola pagina temporanea alla corrispondente nel nuovo dominio, eppure a distanza di 2 anni quello temporaneo è ancora indicizzato.
        Cerca su Google site:desamanera.azurewebsites.net e vedrai se non è vero