La copia di file di grandi size in un server remoto provoca l'esaurimento della memory fisica

Ho un strano problema che sembra iniziato di recente.

Quando copi un grande file (circa 6 GB) dal mio computer porttile a uno dei file server più vecchi, il server esaurisce la memory dopo alcuni secondi.

  • Uccidi tutte le istanze di program.exe aperte sulla condivisione di networking da Windows
  • Software di partizionamento del disco rigido per Windows
  • C'è un command Unix / Linux per contare linee al secondo da stdin?
  • Scarsa performance SQL su HP ProLiant ML310e Gen8 v2 con raid10
  • Eseguire comandi remoti su Windows come ssh -c su linux
  • Come faccio a proteggere facilmente un sito in Apache / Windows?
  • Questo ha iniziato solo recentemente, forse da martedì, anche se non posso essere sicuro.

    Questo server è una macchina Windows 2000 sp4, un Dell 2950 con ram da 1 GB (Nota: sono sicuro che questo server ha più di 1 GB !, non riesco a controllare fisicamente fino alla fine del giorno quando posso spegnerlo), 3Ge Xeon proc, 4 x 250Gb 7.5k RPM SATA in raid 10 e 1 Gigabit NIC collegato a una port da 1GB su un interruttore gestito da intel.


    (A quanto pare non posso submit immagini in modo che un collegamento dovrà fare)

    Grafico di utilizzo della memory + informazioni durante la copia

    Non appena arresto la copia, la memory si libera istantaneamente:

    Grafico di utilizzo della memory + informazioni subito dopo la copia arrestata


    Ho rimosso l'antivirus che ha fatto non ha avuto alcun impatto. Ho modificato le opzioni di "Condivisione di file e condivisione di printing per le reti Microsoft" per essere bilanciati.

    Abbiamo un altro server, Windows 2000 SP4 con 2 GB di RAM, 2,8 GHz Intel Quad Core, 6 x 300 Gb 15 K SAS in raid 10.

    Quando copiamo lo stesso file da 6 GB qui, la quantità di memory disponibile non cambia.

    C'è qualcos'altro che posso guardare mentre il server è in esecuzione? Poiché è in uso e non veramente interessato da copie di file piccole, non riesco a riavviarlo ancora.

    Ecco un colpo di schermo di alcuni contmon perfmon avevo aperto solo come il server esaurisce la memory.

    I contatori di Perfmon durante la copia

    Grazie
    Gareth

  • Ci sono degli inconvenienti dell'interruttore "/ 3Gb" in boot.ini per Windows 32bit?
  • Pagina di tabella crescita veloce
  • Eliminazione del file di pagina
  • Indirizzo Windows Server a 32 bit> RAM da 4 GB - come?
  • In Windows, quali sono i processi "set di lavoro"?
  • 7 Solutions collect form web for “La copia di file di grandi size in un server remoto provoca l'esaurimento della memory fisica”

    Sto facendo lo stesso problema.

    Cercando di eseguire una conversione P2V su un server a 64 bit con Windows Server 2008. Qualsiasi methods di trasferimento file standard per il file VMDK (che è 44GB) causano che Windows dopo il server di destinazione esegua la sua RAM di 14 GB dopo pochi minuti a causa del caching del sistema di file.

    L'esecuzione della conversione o della copia di file P2V su un server a 32 bit non ha questo problema e l'utilizzo della memory rimane ragionevole.

    Quindi provare a copiare il file VMDK nel server VMWare di destinazione ha lo stesso problema.

    Questa pagina descrive esattamente ciò che vedo:

    http://blogs.technet.com/askperf/archive/2007/05/08/slow-large-file-copy-issues.aspx

    Sulla base del mio lavoro, questa ESECUZIONE sembra essere la via da percorrere. Non è stato così veloce come mi aspettavo, ma non è stato strano Windows.

    Il client FTP di Windows utilizza un file Temp su C: \ prima di spostare il file nella destinazione di destinazione. Attenzione! 🙂

    Questo è molto frustrante.

    So che questo è un po 'un dolore, ma hai provato un'utilità di copia di file di terze parti? Windows tende ad essere un po 'lento / lento delle copie di file a volte. Lifehacker ha fatto un elenco di cinque di queste utility, prova uno di essi e vedi se hai ancora lo stesso problema.

    http://lifehacker.com/5280976/five-best-alternative-file-copiers

    Inoltre, come ha detto il rimorchio, controllare le impostazioni della memory virtuale. La migliore pratica è che il file di pagina dovrebbe essere x1.5 la memory (ad esempio 1 GB mem = 1024 MB; 1024 * 1.5 = 1536 MB file di pagina)

    Ci sono problemi noti con i processi di copia di file di networking su W2K – se il sistema remoto non è in grado di svuotare la cache di scrittura più velocemente rispetto alla velocità in cui i dati di file arrivano in networking, allora consumerà costantemente tutta la memory fisica sul server se il file è abbastanza grande. Mark Russinovich ha alcuni dettagli sui modi in cui potrebbe succedere in questo articolo sulle modifiche apportte nei meccanismi di copia di file di Windows Vista. Il grafico di performance che hai pubblicato sembra questo problema e ho visto esattamente questo tipo di comportmento in passato where ho avuto un sistema di destinazione con dischi molto lenti e una networking veloce.

    Tuttavia, anche se il sistema operativo di destinazione è un po 'vecchio l'hardware non è tutto così debole e una configuration RAID 10 con unità SATA da 4×7.2K dovrebbe essere utile per un livello tra 60 e 120Meg / sec la velocità di scrittura, che è significativamente superiore a quella di 39Meg / sec Vista sta riportndo la copia. La cosa strana è che se si tratta di un solido e ben configurato collegamento GigE, è ansible raggiungere velocità di trasferimento di networking che raggiungono 70 Mb / sec (e forse un po 'più alto) per una copia sostenuta di un file di grandi size come questo. Detto 38Meg / sec non è anormale se c'è un altro traffico che scorre dentro o fuori dal client o dal server o (come è più probabile) che la velocità è per lo più limitata dalla velocità del disco rigido locale del computer porttile.

    In each caso verificherei che il tuo RAID 10 fosse in realtà sano – i sintomi qui mi avrebbero sospettato che non fosse in grado di scrivere quanto più velocemente dovrebbe essere.

    Ho appena eseguito una copia sul server stesso, disco locale al disco locale e va bene. La quantità di memory disponibile disponibile non cambia.

    Credo che questo sia più di una questione legata alla networking. Verrò i driver della scheda di networking

    AGGIORNAMENTO: I conducenti hanno qualche anno. Li aggiornerò da ore stanotte. Ancora non so perché questo avrebbe colpito il server improvvisamente dopo tutto questo tempo però!

    Forse è necessario rafforzare la memory virtuale sul disco rigido del sistema, where lo spazio di disco rigido basso potrebbe aver causato il problema.

    Inoltre, da un punto di vista logico, il server non ha effettivamente bisogno di memorizzare un file in memory quando si copia dal file system al file system; alloca solo un buffer in memory che passa il file. A seconda del modo in cui si copiano i file, però, alcune applicazioni memorizzeranno il file completamente in memory e quindi la scriveranno sul disco.

    Provare ad usare un protocollo come FTP – se ancora succede, probabilmente dovresti esaminare alcuni problemi di networking.

    L'interessante domanda qui sarebbe come il server memorizza in realtà i file – come si può vedere, il carico di I / O è giusto, il che significa che non è in realtà la scrittura del file, basta solo memorizzarla in memory.

    È questa operazione di copia solo tramite una normale condivisione di networking (cioè copia tramite Esplora risorse o simili)? Ho provato un bug come questo in Win2K ma che è stato fissato fino a quando SP1 se mi ricordo giusto.

    Se si sta copiando con un altro metodo, allora l'applicazione / servizio potrebbe tentare di tenere il file in RAM finché non ha tutto, nel qual caso è necessario aggiornare o sostituire quella applicazione / servizio.

    Stai utilizzando Server 2003 a 64 bit? Ci sono alcune informazioni su come risolvere questo problema con x64 su Server 2003 qui -> http://www.techspot.com/blog/224/slow-system-performance-when-copying-large-files-in-xp-x64- server-2003-x64 /

    Sembra che succede un bel po 'in 2003 / XP x64 in realtà. Infatti ho appena capito che uno dei miei server ha sperimentato questo stesso problema per un po 'di tempo e non ho avuto il tempo di risolverlo.

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.