web-dev-qa-db-fra.com

Est-il possible de compresser un très grand fichier (~ 30 Go) à l'aide de GZIP?

Est-il possible de compresser un très grand fichier (~ 30 Go) à l'aide de GZIP? Si oui, quelles commandes, commutateurs et options dois-je utiliser?

Ou existe-t-il un autre programme (de préférence un couramment disponible sur les distributions Ubuntu) que je peux utiliser pour compresser/zip très volumineux fichiers? Avez-vous une expérience avec cela?

filesystemsfilescompressiongzip
17
Andrew

Afaik il n'y a pas de limite de taille pour gzip - au moins pas 30 Go. Bien sûr, vous avez besoin de l'espace du fichier zippé sur votre disque, les deux versions seront là-bas simultanément lors de la compression.

bzip2 Compresse les fichiers (non seulement les gros :-) mieux, mais c'est (parfois beaucoup) plus lentement.

22
ohno

si vous avez besoin d'un bon taux de compréhension, vous pouvez essayer Lzma. Il est plus rapide et plus efficace que BZIP2 et peut être plus rapide, même que Gzip (je ne le sais pas à coup sûr)

http://www.thegeekstuff.com/2010/06/lzma-better-Compression-Than-bzip2-on-unix-linux/

8
fromnaboo

Si vous courez dans la limite, réorganisez. À la place de:

gzip file

faire:

gzip < file > file.gz

Fonctionne juste bien.

3
Joshua

Le format GZIP représente la taille d'entrée MODULO 2 ^ 32, de sorte que le --list Option Rapports incorrect Tailles et raccords non compressés non compressés pour les fichiers non compressés 4 Go et plus grand.

Alors prenez bzip2 (v1.0.2 et vers le haut) ou xz.

2
cuneiform

XZ défini sur la compression la plus basse peut bien battre gzip pour la vitesse et la compression.

2
Peter Shannon