Gzip le temps de décompresser?
Je voulais sauvegarder mon serveur entier, qui est hébergé. J'ai donc utilisé dd et gzip pour réduire la taille du fichier. Le disque faisait 500 Go, mais avec moins de 5% d’utilisés. J'ai réussi à dd l'intégralité de la partition dans un fichier gzip de 200 Go par Internet à mon domicile en 8 heures. Maintenant, j'essaie de décompresser le fichier dans une partition sur un nouveau disque. Cela a déjà pris plus de 8 heures et bien sûr, je n’ai aucun moyen de déterminer les progrès.
- Combien de temps faut-il pour décompresser par rapport à la compression?
- Je suppose que le processeur local est l'ingrédient clé pour déterminer combien de temps cela prend? (Plutôt que la bande passante du réseau)
- Y a-t-il un moyen de voir le progrès?
Puis-je faire cela mieux la prochaine fois?
Voici un article que j'ai vu avec quelques points de repère pour gzip et d'autres algorithmes de compression: http://tukaani.org/lzma/benchmarks.html . Je suppose que le temps de décompression varie en fonction de la vitesse de votre processeur. De plus, si vous parcourez les tests, il semble que la décompression soit presque toujours plus rapide que la compression.
Modifier:
En réponse à votre dernière question sur les autres moyens de sauvegarder votre serveur, j’ai trouvé cet article qui traite de diverses méthodes de sauvegarde: http://www.techrepublic.com/blog/10things/10-outstanding-linux- utilitaires de sauvegarde/895 . Je ne sais pas quel accès vous avez au serveur, mais s'il s'agit d'un hôte commercial commun, vous pourrez peut-être demander au support technique comment vous y prendre.
Vous ne voulez pas (ab) utiliser dd comme ça. Il perdra du temps à copier 95% du disque non utilisé et vous obtiendrez une image corrompue si vous l'avez monté en lecture/écriture à ce moment-là. Si vous souhaitez sauvegarder le système, il est préférable de fermer tous les services susceptibles d'écrire sur le disque et d'utiliser tar.
Le moyen le plus simple de suivre la progression d'un processus gzip en cours consiste simplement à examiner la taille du fichier écrit, éventuellement en combinaison avec watch si vous souhaitez des mises à jour en temps réel. Si vous avez affaire à des partitions, cela n’est bien sûr pas facilement possible.
Une alternative pour estimer la progression consiste à utiliser iotop. iotop vous montrera la vitesse à laquelle les données sont écrites sur le disque par chaque processus du système. Votre processus gzip apparaîtra probablement en haut et vous indiquera la quantité de données traitées par seconde. Ensuite, il vous suffit de multiplier le Mo/s par la durée d'exécution du processus (voir la colonne ps auxw START) et vous obtiendrez une idée approximative de la durée du processus.
Pour les sauvegardes suivantes: Utilisez rsync lorsque vous souhaitez copier des données d’un ordinateur sur un réseau à un autre. rsync gère la compression et les deltas, il vous suffit donc de transférer les données que vous n'avez pas encore, ce qui est très rapide pour les mises à jour régulières. rsync a également les options --backup et --backup-dir qui peuvent être utilisées pour créer non seulement des copies, mais également des sauvegardes appropriées qui gardent une trace des fichiers supprimés.
Et quand faire des images de disque, partimage est une bonne alternative à dd, contrairement à ddpartimage est conscient du système de fichiers et ne copie que les blocs réellement utilisés par le système de fichiers, pas vides. blocs inutilisés, il est donc capable de créer des images de disque beaucoup plus petites sur des systèmes de fichiers généralement vides. Mais ce n'est pas un bon outil pour la sauvegarde sur un réseau, utilisez plutôt rsync.
Votre hébergeur devrait vous avoir fourni un plan de sauvegarde et (le plus préférablement) une interface Web pour les installations de sauvegarde et de restauration. Le mieux serait de leur demander s’ils vous autorisent à accéder à une copie d’une sauvegarde automatisée.
Généralement, la décompression dans gzip devrait être plus rapide que la compression. Je suppose que le problème ici est que le disque cible est plus lent que le disque à partir duquel il a été compressé: ou peut-être que vous lisez et écrivez sur le même disque physique, ce qui provoque beaucoup de recherches.
D’autres réponses sont exactes: il est généralement préférable de sauvegarder les fichiers plutôt que le périphérique brut.
Pour voir les progrès, j'installerais pv puis dirais quelque chose comme ceci:
zcat /tmp/myimg.gz |pv -s500G > /tmp/myimg