Feeds con 20000 nodi aggiornati giornalmente

1 contenuto / 0 new
Feeds con 20000 nodi aggiornati giornalmente

Ciao a tutti, sto realizzando un e-commerce col vecchio e caro ubercart.
Vorrei rendervi partecipi delle mie tribolazioni, e chiedere consiglio ai più espeti.

L'Obiettivo: Aggiornare giornalmente più di 20.000 prodotti da file CSV
La mattina aggiorno il database completo(prodotti, prezzi, descrizioni, attributi ecc..),
a mezzogiorno solo le disponibilità di magazzino.

Moduli base:
Ubercart
Elysia Cron
Feeds import
moduli custom per sistemare il nodo al presave.
...

Hosting:
Server virtuale dedicato, CentOS, 4GB Ram, 2 CPU...

Alcune delle configurazioni/ottimizzazioni in fase di test:
-mysql
innodb_flush_log_at_trx_commit=0
-setting
$conf['feeds_process_limit'] = 2000;
-altri parametri scopiazzati dopo le innumerevoli ricerche su guide e forum....

I riscontri:
Ho smesso di eseguire l'aggiornamento da cron(per ora), per escludere errori di timeout e problemi con cron.
Tentando di creare/aggiornare i prodotti tutti insieme il modulo feeds si palla, senza restituire alcun messaggio d'errore.
Aggiornando i nodi da due importer differenti (utilizzo il title come id univoco), ogni nodo viene riaggiornato, anche se i singoli campi restano invariati.

Tempi esecuzione:

creazione di 5000 nodi > 10 minuti
Update di 5000 nodi > 35 minuti

Ci sarebbe molto altro da riportare dopo oltre due settimane di test, ma ho cercato di essere abbastanza riassuntivo per non ammorbare il lettore.

In fin dei conti ho parecchie perplessità sulla procedura...

Qualcuno di voi c'è già passato o ha consigli?

Drupal Version: