Ciao ragazzi,
vorrei segnalarvi questo post di Blamcast sul robots default di drupal, incredibile che nessuno se ne sia accorto fino ad oggi.
Ecco il link:
http://blamcast.net/articles/drupal-seo-mistake
A quanto pare il robots così configurato non permetterebbe l'indicizzazione delle immagini dei siti Drupal.
Ciao
Pietro
Sì perché sono dentro la cartella sites.
Settando manualmente Allow: /sites/default/files/cartellaimmagini la cosa dovrebbe sistemarsi (non ho mai provato)
Mi chiedo però se bisogna cambiare semplicemente in
#Disallow: /sites (oppure Allow: /sites)
oppure se lasciare e inserire
Disallow: /sites
Allow: /sites/default/files/cartellaimmagini
(così facendo non capisco se lasciando il disallow fa una sola eccezione per la cartella immagini oppure se bloccando la radice mi impedisce anche a site/default/etc..)
oppure semplicemente come dici tu
Allow: /sites/default/files/cartellaimmagini
Qualcuno ne sa di più?
Stay hungry, stay drupaled
cavolo non me ne ero mai accorto!!
mi aggiungo alla domanda, mettendo disallow /sites/, e allow sites/cartella, mi aggiunge un'eccezione o sbaglio?
Su un sito per prova ho settato:
Disallow: /sites
Allow: /sites/default/files/cartellaimmagini
Fra alcuni giorni vedrò i risultati.
ho visto altri che usano drupal hanno eliminato il disallow sites dal file, ma non so poi come hanno fatto per il resto.
per chi è piu esperto fateci sapere come risolvere la cosa.
si può sempre fare una directory FILES/IMAGES nella root, invece di dare il solito : /sites/default/files/images.
Nella page file system è spiegato come fare la FILES direttamente sotto la root del sito (di fianco a drupal e non sotto).
Alcuni Vebsmaster lo fanno (avevo il dubbio... ora è sicuro perchè): cmq non mi piace questa soluzione, ed è "allarmante la notizia".
E' un mistero che si debba impostare il robot.txt anche per cose "cosi scontate e indispensabili".
il problema è che il sito ha gia molti nodi quindi non credo sia fattibile la cosa di spostare tutte le immagini.
no infatti si fà all'inizio : dopo è solo una brutta esperienza.
ma perchè su drupal.org non ne parlano di questa cosa?
chi di voi ha esperienze in merito?
ho trovato qualcosa su drupal.org e consigliano di eliminare il disallow sites.
cosa comporta questa modifica? cioè ci sono files che non è consigliabile far indicizzare?
ho avuto conferma da drupal.org. il trucchetto non funziona.
Il sistema che ho usato funziona, ne ha già prese alcune dopo sono un giorno :-)
non capisco io ho provato:
User-agent: *
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
Allow: /sites/default/files/immagini/
inserito ieri mattina e ad ora ancora niente.
Dipende da quanto spesso il tuo sito viene visitato da Google.
il sito è visitato spesso dal bot non è quello il problema credo, anche perchè i nodi nuovi vengono indicizzati senza problema.
puoi darmi il codice esatto che hai inserito nel tuo robots.txt, magari sbaglio qualcosa io?
forse ho capito, forse!
in pratica nella cartella immagini ho "n" cartelle immagini, ma per evitare di inserire manualmente centinaia di allow
Allow: /sites/default/files/immagini/n1
Allow: /sites/default/files/immagini/n2
Allow: /sites/default/files/immagini/n3
...........
per ogni cartella come posso fare in modo che mi indicizza la cartella
Allow: /sites/default/files/immagini/
e tutte le sue sottocartelle?
Lascia solo Allow: /sites/default/files/immagini/ ed abbi un po' di pazienza. La velocità di indicizzazione dipende da vari fattori e ci possono volere anche settimane.
lascio cosi come mi consigli ma ho dei forti dubbi, in fondo non capisco per i nodi me li indicizza e le immagini no.
E allora per quelle più importanti fai una cartella images2 nella root del sito, poi dalle pagine (più importanti) fagli un link _blank diretto alla cartella images2/foto1 - 2 - 3 -4 - jpg png gif ecc..
Poi segnali la cartella www.sito/images2/
in add-url di googl o altri motori , aggiungendo una breve descrizione (per trovarle come keys, ad es. in immagini googl )
potresti anche fare copia e incolla di tutte in www.sito/images2/ ...
e poi segnalarle ai motorini
sono migliaia di cartelle con le immagini, non credo sia fattibile una cosa del genere.
Krima io ho lasciato come mi hai consigliato tu, ma le imamgini ancora non vengono scansionate, nemmeno una.
Ragazzi se qualcuno è in linea e può aiutarmi a capire gliene sarei molto grato!
il bot vedo che passa ogni giorno, ma la situazione non cambia.
Usando google webmaster per testare il robot.txt noto che utilizzando
User-agent: *
Crawl-delay: 10 (googlebot se ne frega)
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Allow: /sites/default/sites/default/files/imce/
Il risultato è:
http://www.sito.it/sites/default/files/imce
Bloccato dalla riga 28: Disallow: /sites/
Bloccato dalla riga 28: Disallow: /sites/
Questo sia che allow sia prima che dopo il disallow.
Ne deduco che allow non esclude disallow.
A mio parere bisogna specificare il disallow cartella per cartella
Nella versione 6.20 il file robots.txt è stato cambiato in questa versione per consentire i files caricati in / sites / di essere indicizzati dai motori di ricerca. http://drupal.org/drupal-6.20 http://drupal.org/node/494462
Nooo .. e adesso cosa mi succederà ... Ancora ?
sono stufo di vedere tutti i miei siti sempre in prima pagina e.. in poll position, basta ! non se ne può più di questo Drupal..