BackupPC Prendendo più di 72 ore per eseguire il backup di 250 GB

Sto utilizzando BackupPC per eseguire il backup di alcune workstation in ufficio. In particolare, una workstation ha un notevole numero di dati rispetto al resto, tuttavia non è grande in generale (parlando di dati effettivi di 250 GB).

BackupPC sembra prendere per sempre il backup di questo sistema (diversi giorni, cioè più di 72 ore +). Tutte le stazioni di lavoro vengono autofs backup tramite rsync su un autofs locale autofs sulla networking.

  • Come faccio a interpretare i messaggi MCE?
  • Utilizzo insolito di cache dentry
  • Modifica della configuration GRUB in "singolo" che non funziona in RHEL
  • Alta quantità di risorse da parte del software RAID1 in Debian 6
  • Visualizza gli argomenti completi della row di command dei programmi nei registri killer OOM
  • File system per un'unità esterna che si connette solo a Linux
  • Fondamentalmente, autofs monta la administrative C share sulla workstation, quindi BackupPC considera come directory locale, cd nella automount directory e rsync tutti i dati.

    È lento in generale e generalmente l'ho attribuito alla casella BackupPC come hardware lento, ma questa prestazione è più o less accettabile su tutte le stazioni di lavoro tranne quella con la maggior quantità di dati.

    rsync flags:

     /usr/bin/rsync --numbersc-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive 

    Questi sono gli argomenti predefiniti che vengono impostati con BackupPC .

    Ho letto alcune cose in linea che hanno indicato atime sulle atime potrebbero rallentare le cose – così ho cambiato la mia autofs config per montare le directory con il flag noatime … nessuna differenza.

    Ho letto alcune cose che hanno indicato che rsync potrebbe essere il colpevole a causa di come controlla i file … e ha suggerito di passare al tar invece. Così ho fatto … ma nessuna differenza.

    tar flags:

     tarPath="/bin/gtar" env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals # where $shareName is the autofs mounted directory 

    Questi sono gli argomenti predefiniti che vengono impostati con BackupPC.

    Nessun cambiamento.

    Monitorando l'attività di networking della casella di BackupPC con iftop , sembra che si verificherà l'utilizzo per un po '(a volte fino a 90Mbps), ma poi scenderà in Kbps o anche a volte Bps. Mentre è in modalità lenta, la parte top mostra l'attività con il command BackupPC_dump che è il lavoro di backup … quindi sta facendo cose e non è bloccato.

    Il backup corrente è stato in esecuzione per oltre 24 ore, ma ha trasferito solo 75,9 GB secondo iftop .

    2 Solutions collect form web for “BackupPC Prendendo più di 72 ore per eseguire il backup di 250 GB”

    Può essere più veloce eseguire rsync direttamente sul server. Hai circa un milione di file per accedere alla networking. Ci sono un paio di installazioni minime di rsync che è ansible eseguire. Ho installato BackupPC su Windows in questo modo. È ansible eseguire un'installazione completa di Cygwin o l'installazione minima di cygwin-rsycnd disponibile nel progetto BackupPC.

    Dovresti controllare tutto su entrambi i lati del tuo backuppc config. innanzitutto, controllare il server e cercare di aumentarne la prestazione, ma se hai altre macchine che funzionano meglio, salta questa.

    Avanti controllare la networking! Velocità di networking rilevata dal desktop, dimensione del pacchetto, qualità del cavo. fare alcuni parametri, fare un test rsync (rsync-rsyncd) di un file grande. Test da altri desktop e da altri desktop. Dovresti vedere se hai qualche problema o no.

    Infine il desktop. CIFS sulla macchina potrebbe non essere nella forma migliore, e come ho detto sopra, rsync da un filesystem di networking scaricherà di nuovo tutti i file in networking, come rsync le cose il file system è locale e controllerà il md5 del file. .. ma il file deve essere recuperato attraverso la networking, basta fare quello controllo. Così come punto di BillThor, un rsyncd sul desktop sarà molto più efficiente. Inoltre, la cache di checksum aiuterà il server backuppc a non controllare i file, riducendo così il carico. Difrai il desktop e rimuovi (o escludi) qualsiasi tipo di file non necessario (le windows hanno molti file inutili in tutto il luogo).

    Infine, il numero di file … molti file che effettuano qualsiasi backup sulla networking richiedono età, in modo da giocare con allora … invece di un grande backup, romperlo in parti più piccole. alcuni file cambiano più di altri, quindi le directory di gruppo per probabilità di cambiamento. Invece di un grande backup each x giorni, hanno 3 backup, uno in X giorni, un altro in 2 x giorni e i file less aggiornati per dire, 3 x giorni. in questo modo si evita di wherer analizzare each file each volta. Se si dispone di file "archivi", si consideri quindi il comprimere. Anche se non è ansible comprimere (utilizzare l'archivio zip allora), si trasformsrà 10.000 in solo 1 … grande salvataggio durante il tempo di backup.

    se non è ansible, puoi considerare la modifica del metodo di backup. su una macchina enorme con molti file ho usato snapshot dell'azionamento per fare un'image HD e poi fare una istantanea incrementale periodica. Può sembrare un overkill, ma quel programma è veloce facendo il livello incrementale a livello di block e supererà il problema di molti file. Per me, ha ridotto un backup di filesystem di 48h a un livello di block di backup 3h. Non è così flessibile come il backuppc, ma funziona. basta non dimenticare che quando si esegue una deframmentazione, è necessario eseguire nuovamente un backup completo o l'incremento sarà grande quanto il valore completo. 🙂

    controllare questo post sul blog per come eseguire il backup da windows (con un bonus per la copia shadow). leggere tutti i commenti, mentre aggiungo molte informazioni e aggiornamenti importnti.

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.