Le migliori scelte del filesystem per NFS che memorizzano le immagini del disco VMware

Attualmente utilizziamo una SAN iSCSI come archiviazione per diversi server VMware ESXi. Sto investigando l'uso di un target NFS su un server Linux per ulteriori macchine virtuali. Sono anche aperta all'idea di utilizzare un sistema operativo alternativo (come OpenSolaris) se fornirà vantaggi significativi.

Quale sistema di file basato su Linux preferisce file di grandi size contigui (come le immagini del disco di VMware)? In alternativa, come hanno trovato ZFS su OpenSolaris per questo tipo di carico di lavoro?

  • Linux a Linux, trasferimento da 10 TB?
  • Perché / dev / urandom è solo leggibile da root da Ubuntu 12.04 e come posso "correggerlo"?
  • Conversione di VMware VM a Hyper-V
  • Ci sono dei limiti sui file registrati tramite syslog?
  • Numero massimo di socket su Linux
  • Configurare un server DNS per interface nic (eth0 / eth1)?
  • (Questa domanda è stata originariamente chiesto su SuperUser ; non esitate a migrare le risposte qui se sai come).

  • strumento per la suddivisione di file pcap tramite connessione TCP?
  • Scegliere una tecnologia SAN per 100 server VM
  • Può OpenSWAN sostituire OpenVPN?
  • I valori di memory SNMP non corrispondono a `free`
  • Bloccaggio intermedio di NFS sul cluster Isilon
  • Come sollevare max nessun descrittori di file per i demoni in esecuzione su Debian Jessie?
  • 5 Solutions collect form web for “Le migliori scelte del filesystem per NFS che memorizzano le immagini del disco VMware”

    Consiglierei veramente di dare un'occhiata a ZFS, ma per get performance decenti, dovrai raccogliere un dispositivo dedicato come un registro di intenti ZFS (ZIL). In pratica, questo è un piccolo dispositivo (pochi GB) che può scrivere estremamente veloci (20-100K IOPS) che consente a ZFS di confermare immediatamente che le scritture sono state sincronizzate con l'archiviazione, ma attendere fino a 30secondi per effettivamente commettere le scritture sui dischi rigidi la tua piscina. In caso di incidente / interruzione, qualsiasi transazione non eseguita in ZIL viene ripetuta sul supporto. Di conseguenza, oltre ad un UPS, si può desiderare un azionamento con un alimentatore interno / super-condensatore in modo che qualsiasi IO in sospeso lo metta in memory permanente in caso di perdita di potenza. Se si sceglie di optare per un dispositivo ZIL dedicato, le scritture possono avere una latenza elevata che conduce a tutti i tipi di problemi. Supponendo che non sei interessato a Sun 18GB scrivono ottimizzato SSD "Logzilla" a ~ $ 8200, esistono alternative less economiche:

    • DDRDrive X1 – 4GB DDR2 + 4GB SLC Flash in una scheda PCIe x1 progettata esplicitamente per l'utilizzo di ZIL. Scrive andare alla RAM; in caso di perdita di potenza, sincronizza la RAM con NAND in <60sec alimentata da un supercapacitor. (50k-300k IOPS, $ 2000 diretto, $ 1500 per .edu)
    • Intel X25-E 32GB 2.5inch SSD (SLC, ma non super cap, 3300 scrivono IOPS); [$ 390 @ Amazon] [11]
    • OCZ Vertex 2 Pro 40GB 2.5inch SSD (supercap, ma MLC, 20k-50k scrivere IOPS); $ 435 @ Amazon .

    Una volta che hai installato OpenSolaris / Nexenta + ZFS ci sono diversi modi per spostare i blocchi tra il box OpenSolaris e ESX; ciò che è giusto dipende fortemente dalla vostra infrastruttura esistente (interruttori L3, tabs di fibre) e le tue priorità (ridondanza, latenza, velocità, costo). Ma poiché non è necessario licenze specializzate per sbloccare la funzionalità iSCSI / FC / NFS è ansible valutare tutto ciò che hai hardware e scegliere il tuo preferito:

    • Target iSCSI (overhead della CPU, nessun supporto TOE in OpenSolaris)
    • Obiettivi a fibra ottica (le tabs di fibre non sono a buon mercato)
    • NFS (VMWare + NFS può essere finicky, limitato a 32 mounts)

    Se non puoi spendere $ 500 per la valutazione, prova con e senza ZIL distriggersto per vedere se il ZIL è un collo di bottiglia. (Probabilmente è). Non farlo nella produzione . Non confondere con deduplicazione ZFS solo se non hai anche un sacco di RAM e un SSD per L2ARC. È decisamente bello dopo averlo configurato, ma sicuramente cercherai di fare qualche Tuning NFS prima di giocare con dedup. Una volta che si ottiene saturando un collegamento di 1-2 Gb ci sono opportunità di crescita in 8gb FC, 10gigE e infiniband, ma ciascuno richiede un investimento significativo anche per la valutazione.

    Non farei esattamente questo. Nella mia esperienza, Linux (in particolare CentOS 3/4/5) è una scelta generalmente scarsa per un server NFS. Ho avuto parecchi e ho scoperto che sotto carico, latenza e throughput tendono a cadere per motivi che non potremmo mai get le nostre teste in giro.

    Nei nostri casi, abbiamo confrontato le performance di Linux back-to-back con Solaris (su Ultra-SPARC) e NetApp; entrambi hanno restituito risultati in termini di performance delle mele alle mele e in termini nebulose di "ingegneri che non si sono lamentati quasi quanto la latenza quando il server era sotto carico". Ci sono stati più tentativi di sintonizzare il server Linux NFS; sia i sisthemes NetApps che i sisthemes Solaris funzionavano come è fuori dalla scatola. E poiché entrambi i sisthemes Solaris e NetApp coinvolti erano più vecchi, i server Linux potrebbero essere affermati di avere avuto tutti i vantaggi e ancora non sono stati convincenti.

    Se avete il tempo, sarebbe opportuno sperimentare di impostare lo stesso hardware con OpenSolaris (ora che Solaris è effettivamente troppo costoso da utilizzare), Linux, e forse una variante BSD o due, e li corre. Se è ansible get alcune metriche di performance (ad esempio, i conteggi di I / O sul disco in un VM ospitato fuori dall'archivio), potrebbe comportre un interessante articolo bianco o un articolo di Internet. (Se hai il tempo.)

    Per quanto riguarda NFS in generale, le persone di NetApp mi hanno detto diverse volte che i loro parametri di riferimento hanno mostrato che NFS aveva un costo da 5 a 10% in termini di performance per i VM – e se la tua applicazione era sufficientemente sensibile che questo è un problema, non dovresti virtualizzare in primo luogo.

    Ma devo confessare che dopo tutto quel tempo e lacrime, i nostri negozi VM di produzione non locali sono tutti alimentati da iSCSI, principalmente da NetApp.

    Stiamo utilizzando OpenSolaris 2009/06 con una configuration RAID 10 ZFS per fornire NFS al nostro server VMWare ESXi. Funziona abbastanza bene per le nostre esigenze finora. Stiamo utilizzando unità tipo SATA Raid (unità Seagate ES.2 1TB). Tuttavia abbiamo ancora qualche sintonia da fare.

    Sono un grande fan di NFS datastores per VMware, NetApp ha un'ottima implementazione.

    TR-3808 confronta la scalatura dei datastores condivisi collegati da NetApp FC, iSCSI e NFS, che è un'eccellente lettura.

    Potresti voler considerare il bug di 3+ ​​anni con ZFS ARC che persiste ancora prima di saltare in profondità con ZFS …

    http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

    (Questo è brutto poiché andrà oltre i limiti VM di un hypervisor!)

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.