Comment sauvegarder 20 + To de données?
Nous avons un serveur NAS dans l'entreprise pour laquelle je travaille qui est utilisé pour stocker des sessions de photographie. Chaque session est d'environ 100 Go. Au cours des deux dernières années, ce serveur a accumulé 10+ TB de données, et nous augmentons de façon exponentielle le nombre de séances photo. J'estime que d'ici la fin de l'année prochaine, nous aurons 20+ TB stockés sur ce NAS. Nous sont actuellement en train de sauvegarder ce serveur sur bande à l'aide de bandes LTO-5 avec Symantec BackupExec. Étant donné que la taille de ce serveur a augmenté, les sauvegardes complètes de ce serveur ne se terminent pas du jour au lendemain. Quelqu'un a-t-il des suggestions sur la façon de sauvegarder cette quantité de données? Devrions-nous le sauvegarder sur bande? Y a-t-il d'autres options qui pourraient être meilleures?
Vous devez prendre du recul et cesser de penser "J'ai 20 To sur mon NAS j'ai besoin de sauvegarder!" Et développer une stratégie de stockage qui prend en compte la nature de vos données:
- D'où cela vient-il et combien de nouvelles données obtenez-vous? (vous avez ceci dans votre question)
- Comment les données sont-elles utilisées une fois que vous les avez? Les gens modifient-ils les images? Conservez-vous les originaux et générez-vous des versions modifiées?
- De combien de temps avez-vous besoin pour conserver toutes les données? Les gens modifient-ils toujours les photos d'il y a 2 ans?
Selon les réponses aux deux dernières questions, vous aurez probablement besoin de plus d'un Archiving System qu'un système de sauvegarde radicalement différent.
Les données statiques (par exemple, les photos datant de 2 ans que vous conservez "au cas où") n'ont pas besoin d'être sauvegardées chaque nuit, ou même chaque semaine, elles doivent être archivées. Ce que vous faites peut être plus complexe, mais conceptuellement, toutes les anciennes images peuvent être enregistrées sur bande (plusieurs copies!) Et ne plus être sauvegardées.
Sur la base de vos commentaires, quelques réflexions supplémentaires:
Étant donné que vous conservez les originaux de chaque prise de vue intacts et travaillez sur une copie, et en supposant qu'au moins certaines des images originales sont des copies, vous pourriez être en mesure de réduire de moitié la quantité de données à sauvegarder.
Si vous ne parvenez toujours pas à terminer une sauvegarde complète dans la fenêtre de temps dont vous disposez, une façon courante d'accélérer les choses consiste à effectuer d'abord une sauvegarde de disque à disque, puis à copier ensuite l'ensemble de sauvegarde sur bande.
Vous avez deux options:
Option 1:
- Acheter un autre NAS
- Donnez à vos utilisateurs RO accès au nouveau_NAS
- Déplacer tous les fichiers de plus de 2 ans vers new_NAS
- Continuez à sauvegarder old_NAS comme d'habitude
- Tous les 6 mois, déplacez les fichiers de plus de 2 ans vers new_NAS
Option 2:
- Acheter un autre NAS
Exécutez
rsynctoutes les heures: old_NAS -> new_NASou, mieux vaut utiliser quelque chose comme rdiff-backup qui fait rsync + conserve les deltas avec les changements de fichiers (vous pouvez restaurer les anciennes versions des fichiers)
rdiff-backup user1@old_NAS::/source-dir user2@new_NAS::/dest-dirTous les 6 mois, nettoyez les anciens fichiers exécutant quelque chose comme:
rdiff-backup --remove-older-than 2Y old_NAS::/dest-dir
Pourquoi vos sauvegardes doivent-elles se terminer du jour au lendemain? Performances du serveur de fichiers? Vous pourrez peut-être limiter la bande passante de votre logiciel de sauvegarde pour limiter l'impact pendant la journée. Ou dédiez une interface sur votre NAS pour parler au lecteur de bande afin de limiter l'impact sur les autres trafics.
Pouvez-vous exécuter des vidages complets le week-end et ne faire que des incréments au cours de la semaine? Si le problème est de changer de bande le week-end lorsque personne n'est là, une librairie de bandes/changeur automatique bon marché coûte beaucoup moins cher que de payer quelqu'un pour changer de bande.
Pouvez-vous segmenter vos données en plusieurs groupes suffisamment petits pour être complétés dans votre fenêtre de sauvegarde?
Nous avons environ 50 To de données sur un notre NAS et il faut plus d'une semaine pour obtenir un vidage complet de l'ensemble en utilisant 2 lecteurs de bande (un volume prend presque une semaine car il contient de nombreux ce que nous faisons est de répliquer nos données sur un deuxième NAS. Notre secondaire NAS est sur place (mais dans un centre de données différent du principal), donc nous bande pour la sauvegarde hors site. Nous exécutons des sauvegardes à partir de ce secondaire NAS afin que les sauvegardes ne ralentissent personne.
Si vous pouvez colocaliser votre secondaire NAS assez loin, cela peut être votre sauvegarde, pas de bandes nécessaires.
Je pense que la meilleure solution pour cela est ce que nous faisons avec nos données de paie, qui devraient prendre un effort minimal pour vous de mettre en œuvre.
Initialement, il est conservé avec le reste des données du serveur qui sont sauvegardées quotidiennement. Notre période de conservation sur ces sauvegardes est de 13 mois.
Une fois que nous ne prévoyons plus que les données devront être modifiées, (deux périodes de paie plus tard, IIRC), les données sont (via un script) sauvegardées dans un volume d'archives qui est exclu des sauvegardes régulières.
Le volume d'archives est sauvegardé sur bande chaque année et les bandes sont envoyées à Cintas pour un stockage indéfini.
Cela nous permet d'avoir un accès en ligne facile à ces données immuables (nous n'avons donc pas à appeler une bande chaque fois qu'un comptable veut regarder quelque chose), tout en conservant des archives hors site indéfinies de données que nous pourrions avoir besoin de conserver pour toujours , et sans écraser notre système de sauvegarde. Des sons comme le même type de configuration pourraient fonctionner pour vous, bien que vous souhaitiez peut-être ajuster la quantité de données que vous gardez en ligne, en fonction de vos besoins pour accéder à ces données en temps opportun - 20 To de stockage de qualité entreprise sont beaucoup plus chers que de l'archiver sur deux ou trois jeux de bandes LTO5 que vous stockez dans des coffres hors site.
J'ai juste un doute sur la taille de chaque session de prise de vue, est-ce vraiment 100 Go/session? Combien de sessions votre entreprise fait-elle chaque mois?
Étant donné que vous stockez principalement d'anciennes sessions qui ne seront pas utilisées fréquemment, etc., et que vous n'avez probablement pas besoin de récupérer ces informations aussi fréquemment, je vous suggère d'utiliser les services d'une entreprise pour prendre en charge cette tâche pour vous. .
Par exemple, le stockage de ces 20 To en utilisant un service en ligne comme Amazon Glacier coûterait un peu plus de 200 $/mois. Si vous avez besoin de récupérer ces archives fréquemment, ou même de les récupérer intégralement, cela entraînerait une contrainte de temps/coût. Si vous stockez simplement ces choses "pour être sûr qu'elles sont stockées", peut-être que l'utilisation d'une troisième partie pourrait vous faciliter la vie (et même moins cher que d'acheter un autre NAS, des bandes, etc.)
full backups of this server are not completing overnight
Alors essayez les sauvegardes incrémentielles? Une sauvegarde complète tous les xx jours, incrémentielle le reste.
Les disques durs sont peu coûteux, plus rapides que les bandes et peuvent être utilisés pour la sauvegarde.
Il existe également de bonnes alternatives pour les sauvegardes dans le cloud, il n'est donc pas nécessaire de continuer à ajouter des bandes plus nombreuses et plus rapides.
Par exemple:
Vous pouvez peut-être créer votre propre Backblaze Pod : 135 To pour 7384 $
Cliquez ici pour plus d'informations: Informations de construction du pod Backblaze
Vous pouvez acheter les pièces nécessaires et les construire vous-même.
Vous pouvez peut-être en construire 3 et en garder 2 sur place et 1 hors site. Vous pouvez ensuite utiliser un module comme "données en ligne", le deuxième module sur site comme sauvegarde du premier module et le troisième module hors site comme sauvegarde hors site d'urgence.
Avec 135 To de stockage pour chaque module, vous pouvez même penser à conserver un historique du changement ...
135 To/20 To = 19 copie de sauvegarde complète .
Alternativement, vous pouvez conserver 10 sauvegardes complètes plus une quantité ridicule de sauvegardes différentielles.
Naturellement, si vous voulez une sauvegarde hors site, vous aurez besoin d'une grande bande passante ... :-)