Sauvegarde: Amazon S3 ou Glacier - beaucoup de petits fichiers?
J'essaie de comprendre le modèle complexe de tarification d'Amazon Glacier. Je ne veux pas stocker une quantité énorme de données, quelques Go disons 10. J'espère ne jamais télécharger les fichiers et si j'en avais besoin, peu m'importe le temps que cela prend.
Y at-il un coût par fichier que je télécharge? Est-il meilleur marché de compresser de nombreux fichiers minuscules et de les télécharger en quelques morceaux ou est-ce que 10 000 disent que les images ne sont pas importantes? (impossible d'obtenir une réponse directe à cette question lors d'une recherche)
Puis-je demander le téléchargement de tout un Archive/Bucket ou est-ce fichier par fichier?
Des informations détaillées sur les prix pour S3 sont disponibles ici . Les spécificités des fonctions de l’API disponibles sont ici .
Pour S3, la bande passante de téléchargement (octets envoyésÀS3), la bande passante de téléchargement (octets reçusDES3) et le stockage (octets) SONT GÉNÉRALEMENT FACTURÉS. DANSS3). Vous êtes également facturé pour le nombre et le type d'appels d'API.
Ainsi, si vous téléchargez vos 10 Go de données sur S3 dans 10 000 fichiers de 1 Mo, que vous les stockez pendant un mois, puis que vous téléchargez chacun de ces fichiers une fois, des frais vous seront facturés:
- 0,00 $ pour la bande passante de téléchargement (c'est gratuit)
- 0,10 USD pour les 10 000 demandes PUT de téléchargement des fichiers
- 0,95 $ pour stocker les 10 Go pendant un mois
- 1,08 USD pour une bande passante de téléchargement de 10 Go (le premier est gratuit, puis 0,12 USD/Go)
- 0,01 USD pour les 10 000 demandes GET de téléchargement des fichiers
C'est 2,14 $. Si vous téléchargiez et téléchargiez une fois chacun, mais que vous conserviez les données pendant un an, seul le coût de stockage irait jusqu'à 12 * 0,95 $, ou 11,40 $. Si la taille moyenne de vos fichiers est de 100 Ko et que vous en avez 100 000, vous paieriez 10 fois plus pour les demandes PUT et GET, soit 1,10 USD au lieu de 0,11 USD.
Vous ne pouvez télécharger et télécharger qu'un seul fichier par opération. Si vous combinez vos fichiers en un seul à l'aide de Zip, vous économiserez en utilisant moins d'opérations, ce qui, comme vous pouvez le constater, est assez bon marché pour commencer.
Il y a cependant une bizarrerie ici. Je suis presque certain que toutes les utilisations de bande passante sont facturées lors du téléchargement, y compris les en-têtes de requête, et pas uniquement les corps contenant vos données. Donc, si vos fichiers étaient vraiment petits, les en-têtes de requête pourraient devenir importants, peut-être autant que les fichiers eux-mêmes. Dans ce cas, vos coûts de bande passante doubleraient.
La tarification des glaciers est plus compliquée et je ne l'ai jamais utilisée moi-même. Fondamentalement, il réduit les coûts de stockage de près de dix fois, laissant les autres coûts inchangés et ajoutant des coûts d'archivage et de restauration par objet. Ces coûts semblent importants si vous avez beaucoup de petits objets, si vous devez récupérer plusieurs fichiers à la fois ou fréquemment. Glacier semble être préférable lorsque vous avez beaucoup de données (téraoctets ou plus, pas seulement des gigaoctets), mais peu d'opérations. Étant donné que vous ne disposez que de 10 Go de données, S3 est si peu coûteux qu'il ne semble pas intéressant d'envisager Glacier.
Enfin, AWS dispose d'un niveau d'utilisation gratuit pour la première année, ce qui semble couvrir tous vos coûts, sauf la moitié des frais de stockage.
Je sais que c'est un peu vieux, mais vous pouvez toujours trouver ma réponse utile (j'espère). L'autre réponse est basée sur S3, ce qui n'était pas votre question, je crois.
Glacier est destiné à l’accès aux fichiers rares. En ayant cela à l'esprit, ils vous punissent en quelque sorte si vous devez récupérer plusieurs fichiers à la fois. Dans votre cas particulier, je vous suggère de télécharger 10 000 fichiers distincts au lieu de 100 fichiers Zip contenant chacun 100 fichiers. La raison est très simple. Glacier vous permettra de télécharger gratuitement seulement 5% de l’archive totale et est calculé au prorata quotidiennement. Ainsi, si, par exemple, vous devez télécharger 10 photos prises au cours d’un week-end, vous pourrez les obtenir gratuitement si elles sont réparties dans le coffre-fort. D'autre part, si vous avez un fichier Zip contenant 100 photos, vous serez obligé de télécharger ce fichier Zip qui représentera probablement plus de 5% de l'archive totale, ce qui signifie que vous devrez payer des frais pour la récupération.
Il est logique de télécharger moins de fichiers pour éviter le nombre élevé de demandes de téléchargement (10 000 fichiers signifient généralement 10 000 demandes). Les demandes sont facturées 0,05 USD par 1 000. Ces frais sont beaucoup plus bas que les frais de récupération (en tenant compte des limites imposées), c'est pourquoi je recommande toujours de télécharger des fichiers séparés. Bien sûr, vous pouvez compresser des fichiers Zip qui ont du sens.
Les coûts de récupération sont très complexes dans Amazon Glacier. Ils ont une bonne explication ici: http://aws.Amazon.com/glacier/faqs/#How_much_data_can_I_retrieve_for_free Mais même dans ce cas, vous devrez faire attention aux calculs pour avoir une idée précise de la facturation des coûts.
Concernant cette question: Puis-je demander le téléchargement de tout un Archive/Bucket ou est-ce fichier par fichier?
Les demandes sont classées fichier par fichier, bien que vous puissiez sélectionner plusieurs fichiers à la fois et les télécharger complètement.
La décision d'utiliser S3 ou Glacier dépend vraiment de vos besoins en matière d'accès aux fichiers. Si vous avez besoin de toujours accéder à vos fichiers, alors Glacier est votre réponse. Sinon, pour 10 Go, le S3 peut toujours être bon marché et plus souple que Glacier. Dans mon cas, les photos de famille sont très précieuses. C'est pourquoi j'ai une sauvegarde de 100 Go sur glacier avec toutes mes photos de famille. Je n'ai pas l'intention d'y accéder sauf s'il y a une sorte de catastrophe à la maison. Dans ce cas, je pense que les coûts de récupération ne me dérangeraient pas si cela économisait quelque chose qui me tient vraiment à cœur. Mais c'est juste moi.
Mieux vaut utiliser quelques fichiers plus gros que beaucoup de petits fichiers
Il existe deux approches pour mettre des fichiers dans Amazon Glacier. Vous pouvez soit interagir directement avec les coffres, soit utiliser S3 comme interface frontale.
J'utilise S3 (et Amazon Management Console) pour pouvoir visualiser le contenu de l'archive et le stocker simultanément à moindre coût dans Glacier.
Cette approche présente un inconvénient: le stockage de tout élément d’information dans Glacier entraîne une surcharge de données (que vous payez également), il existe alors logiquement un seuil de rentabilité. Avant la réduction de prix de 2014-04, j'avais effectué un calcul et la taille critique était d'environ 16 ko. Stocker des fichiers plus petits dans Glacier (avec AWS S3 comme interface frontale) était plus coûteux que de le conserver uniquement sur S3. Avec une réduction de prix pour le stockage S3 (Glacier n’a pas changé), le seuil de rentabilité est allé encore plus haut.
J'imagine que même sans S3 comme interface, la situation sera similaire, même si elle est un peu plus conviviale pour les fichiers plus petits.
Depuis le 21 novembre 2016, Amazon a mis à jour la stratégie de niveau gratuit pour les extractions de Glacier et la stratégie «5% de votre stockage mensuel moyen» en faveur de 10 Go gratuits par mois. Cependant, si votre politique de récupération a été définie avant ce jour-là, vous êtes toujours sur la stratégie "5%" et les autres réponses ici s'appliquent toujours à vous.
Si votre politique de récupération a été définie après le 21 novembre 2016 et que vous êtes à la place du PO:
Comme vous ne stockez que 10 Go, vous pouvez récupérer toutes vos données gratuitement une fois par mois à l'aide de la fonction de récupération standard. Cela ne ferait aucune différence que les 10 000 photos soient toutes compressées dans un fichier Zip ou non (pour les extractions).
La seule variable dans ce scénario est le nombre de demandes de téléchargement. 10 000 demandes au prix de 0,05 USD par 1 000, ce n’est que 0,50 USD et c’est un frais unique pour votre cas particulier.
Plus d'informations sur les tarifs sur AWS Glacier FAQ
METTRE À JOUR:
Je suis arrivé à cette conclusion de façon indépendante après quelques délais d'attente lorsque j'ai essayé de télécharger un fichier de 8 Go.