btrfs pour la déduplication et la compression en même temps?
Je pense utiliser des fonctions btrfs pour dédupliquer et compresser mon stockage ...
Ma question est: est-ce efficace?
Je veux dire, faut-il dédupliquer ET compresser en même temps efficacement?!
J'utilise Ubuntu 14.04 64 bits. De plus, je prévois de l'utiliser avec raid0 en plus des volumes optimisés EBS dans un environnement Cloud Computing ...
Tks! Thiago
Si vous écrivez sur la déduplication à l'aide de l'utilitaire bedup, la réponse est: la déduplication et la compression sont des processus complètement indépendants.
Lors de la déduplication, aucun contenu de fichier n'est réécrit (uniquement des métadonnées). Il n'est donc pas possible de compresser les données.
Et je suis sûr à 99% que l’état de la compression est transparent pour la bedup car il est presque impossible d’obtenir le contenu original et compressé du fichier en dehors de btrfs.
D'autre part, la recompression d'anciennes données a lieu lorsque vous défragmentez le lecteur (par exemple avec btrfs filesystem defragment -r -v -clzo /). Cela supprimera actuellement la déduplication des fichiers.
Il n'y a pas de déduplication en ligne pour le moment. C'est prévu, mais pas encore mis en œuvre. Il existe un patchset expérimental (www.mail-archive.com/linux-btrfs%40vger.kernel.org/msg32862.html) si vous voulez l'essayer.
Mon expérience personnelle montre que la compression en ligne ne frappe pas les performances d'un hasswell i5 4460 lors de l'écriture simultanée sur un disque dur et 3 disques durs (l'un des disques étant formaté avec xfs, aucune compression n'a donc été effectuée. Défragmentation/recompression des 3 btrfs les disques donnent une charge de processeur d'environ 50% mais le système est toujours lisse. C'est avec lzo et la compression n'est pas forcée (sauf si vous le forcez, btrfs arrête d'essayer de compresser un fichier s'il est incompressible + lzo est plus rapide que zlib). vitesse de conduite, même avec un SSD.