La nostra azienda ha 100.000 foto +, come memorizzare e sfogliare / trovare questi in modo efficiente?

Attualmente archiviamo le nostre foto in una struttura come questa:

cartella \ 1 \ 10000 – 19999.JPG | ORF | TIF (10 000 file)

  • Miglior modo per build NAS a casa con ridondanza
  • Sisthemes di storage di oggetti compatibili S3
  • Come si esegue il backup di un server di archiviazione?
  • cartella \ 2 \ 20000 – 29999.JPG | ORF | TIF (10 000 file) ecc …

    Sono memorizzati su 4 differenti NAS 2TB D-link collegati e condivisi sulla nostra networking di uffici (\\ nas1, \\ nas2 e così via …)

    I problemi:

    1) Quando un client (solo Windows, Vista e 7) desidera esplorare la cartella \\ nas1 \ folder \ 1 \, la prestazione è piuttosto scarsa. Un problema. Elenco richiede molto tempo per generare nella window dell'esploratore. Anche con le icone spente.

    2) L'accesso iniziale al NAS stesso è talvolta lento. Problema.

    I dischi SAN sono troppo costosi per noi. Anche con tecnologia iSCSI / switch switch.

    Ho letto molte pagine tecniche dicendo che la memorizzazione di 100 000 file in una singola cartella non dovrebbe essere un problema. Ma non oseniamo andare lì adesso che abbiamo problemi a livello 10K.

    Tutto l'input notevolmente apprezzato,

    / T

  • Miglior modo per build NAS a casa con ridondanza
  • 4 Solutions collect form web for “La nostra azienda ha 100.000 foto +, come memorizzare e sfogliare / trovare questi in modo efficiente?”

    1: sì, Explorer non ama 10.000 elementi in una directory. 1000 è b etter. Questo NON è un problema di file system: è ansible archiviare 100.000 file in una cartella e lavorare con loro in modo efficiente dalla row di command. Esploratore è lento.

    2: disco Velociraptor 600gb. 10.000 giri / min. Veloce. Hai bisogno di più per get i soldi per SAS. O aspettare che le cose diventino più economiche. Se ho bisogno di un camion, devo pagarlo.

    Devi guardare il software di gestione dei beni digitali. Il software DAM è costruito per gestire grandi collezioni di foto / video / audio. Di solito sono supportti da database per gestire i cataloghi dei media. Un esempio è MS iView

    Scommetto che la casella dlink sta esaurendo dalla CPU o dalla RAM.

    Memorichiamo milioni di nuovi file di image al giorno.

    Windows non ama un gran numero di file in una cartella. Teniamo il numero sotto 10K per cartella sulle nostre macchine per windows.

    Linux utilizzando SAMBA è una soluzione migliore per gestire il livello di presentazione rispetto a CIFS sulle windows. Abbiamo strato apache sopra di esso per gli utenti di sfogliare i file grezzi e anche avere un database per aiutarli a get ciò di cui hanno bisogno tramite una semplice applicazione web drill down. Abbiamo scritto la nostra propria soluzione per gestire le immagini in quanto tutte le versioni che ci sono le emissioni.

    I file totali su un LUN sono circa 80 milioni o 2 Tb.

    Utilizziamo rsynch per eseguire il backup ad un altro sistema di disco e poi inviarlo a nastro una volta che il volume diventa inattivo.

    È necessario essere molto attenti ai dischi per gruppo di raid e gestire attentamente i tuoi IO attraverso lo stack tecnologico. è molto facile uscire dal gas e con un sacco di dati che vengono a voi, una volta che ti ritrovi, sarai molto doloroso.

    CPU, RAM, raid card, mandrini, mobo, networking – tutti devono essere il più veloce ansible.

    Molti mandrini e una scheda Pci 2.0 LSI su un LGA1366 Mobo con alless un x5550 è il modo per andare.

    Ci piace molto la linea di caviale desktop seagate in quanto è veloce ed economico.

    Vorrei build una scatola personalizzata con un sacco di mandrini.

    Dovresti usare un sistema DAM per tenere traccia di queste immagini. Mi piace l'idea di tenerli su un NAS, a patto che tu possa eseguire il backup, ma vorresti un'applicazione guidata dal database per tenere le tabs su quale file è presente e, se ansible, fornire un database di ricerca in miniatura. Ho avuto fortuna in fondo con Extensis Portfolio.

    Check out: http://www.razuna.com/

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.