AWS S3 Sync très lent lors de la copie vers de grands répertoires
Lors de la synchronisation des données vers un répertoire vide dans S3 à l'aide d'AWS-CLI, c'est presque instantané. Cependant, lors de la synchronisation vers un grand répertoire (plusieurs millions de dossiers), il faut très longtemps avant même de commencer à télécharger/synchroniser les fichiers.
Existe-t-il une méthode alternative? Il semble qu'il essaie de prendre en compte tous les fichiers d'un répertoire S3 avant la synchronisation - je n'en ai pas besoin, et le téléchargement des données sans vérification préalable serait bien.
La commande sync devra énumérer tous les fichiers du compartiment pour déterminer si un fichier local existe déjà dans le compartiment et s'il est identique au fichier local. Plus vous avez de documents dans le seau, plus cela prendra de temps.
Si vous n'avez pas besoin de ce comportement sync, utilisez simplement une commande de copie récursive comme:
aws s3 cp --recursive . s3://mybucket/
et cela devrait copier tous les fichiers locaux du répertoire actuel dans le compartiment de S3.