Optimisation des performances de la BCP pour les données BLOB

Question

Je suis le processus de planification de la migration en direct d'une base de données de 2 To aux tables partitionnées. Le système est globalement parlant d'un magasin de documents, la majorité de l'espace étant attribué à des lecteurs comprises entre 50kb et 500 ko, avec un faible pourcentage dans la plage de 500 Ko à 1 Mo. Une partie de la migration impliquera des données BCPER de l'ancienne à la nouvelle base de données.

Le BCP est l'approche préférée car la fracture actuelle/historique dans les données permet d'extraire les données plus anciennes des étapes (pendant des périodes plus calmes) à l'avance d'un interrupteur final, minimisant l'impact sur le système en direct. Le volume de données et la disponibilité du stockage exclut une reconstruction in situ à un schéma de partition .

Je suis suspect là-bas peut-être des gains de performance à avoir eu en expérimentant des kilobytes_per_batch plutôt que des rows_per_batch, en raison de la teneur en BLOB. Il est suggéré dans la Documentation BCP que SQL peut optimiser les opérations en fonction de cette valeur.

Ce que je ne trouve pas, ce n'est aucune orientation sur la nature de ces optimisations ou où commencer mes tests. Dans l'absence de suggestions, je vais essayer des courtes courtes à des limites de 4/8/16/22/64MB pour commencer.

Certains gains peuvent probablement être de changer la taille du paquet (paramètre bcp -a, plutôt que le réglage du niveau serveur), mais je suis enclin à cogner cela au maximum 65535 à moins que quiconque ait une approche plus formule.

Marian · Accepted Answer

Ce n'est pas une réponse directe à votre question, mais il y a des articles que vous bénéficierez de les lire (au cas où vous ne les trouveriez pas d'abord :-)). Ils portent des lots de données à l'aide de la copie BCP/Bulk. Je les ai tous lus tous et je n'ai rien trouvé détaillé sur Kilobytes_per_batch, ils utilisent tous des rows_per_batch, mais je suis sûr que vous trouverez d'autres informations utiles.

charge 1 To en moins d'une heure (de l'équipe SQL CAT) - Liste des conseils d'ici (citation):
- Exécutez autant de processus de charge que vous avez disponible CPU. Si vous avez 32 processeurs, exécutez 32 charges parallèles. Si vous avez 8 CPU, exécutez 8 charges parallèles.
- Si vous avez le contrôle de la création de vos fichiers d'entrée, faites-les d'une taille uniformément divisible par le nombre de filets de charge que vous souhaitez exécuter en parallèle. Assurez-vous également que tous les enregistrements appartiennent à une partition si vous souhaitez utiliser la stratégie de partition de commutation.
- Utilisez une insertion en vrac au lieu de BCP si vous exécutez le processus sur la machine SQL Server.
- Utilisez la partition de table pour gagner 8 à 10% supplémentaires, mais uniquement si vos fichiers d'entrée sont garantis pour correspondre à votre fonction de partitionnement, ce qui signifie que tous les enregistrements d'un fichier doivent être dans la même partition.
- Utilisez un matalo pour éviter la ligne à une heure de verrouillage.
- Utilisez des lignes par lot = 2500, ou quelque chose près de ceci si vous importez plusieurs flux dans une seule table.
Top 10 des meilleures pratiques pour la construction d'un entrepôt de données relationnelles à grande échelle (de l'équipe SQL CAT) - Conseils (citation):
- Utilisez un modèle de récupération enregistré simple ou en vrac pendant la charge de données initiale.
- Créez la table des informations partitionnées avec l'index en cluster.
- Créez des tables de stadification non indexées pour chaque partition et séparer les fichiers de données source pour peupler chaque partition.
- Remplir les tables de stockage en parallèle (utilisez plusieurs insérences en vrac, tâches BCP ou SSIS)
- Construisez un index en cluster sur chaque table de mise en scène, puis créez des contraintes de contrôle appropriées.
- Basculez toutes les partitions dans la table partitionnée.
- Construisez des index non clusters sur la table partitionnée.
Guide de performance de chargement de données (de l'équipe SQL CAT)
Chargement de données en vrac dans une table partitionnée - Article Meilleures pratiques SQL Server (Article TechNet)
SQL Server Server 2000 Programme de charge en vrac de charge en vrac (Article TechNet)
Leçons apprises et conclusions d'un grand POC rapide (de l'équipe SQL CAT)
Conseils de réglage des performances pour SQL Server BCP (par Brad McGehee)
Impact de la performance: Trouver la taille du lot la plus optimale (par Linchi Shea)

et les références MSDN évidentes:

Dans mon expérience personnelle, j'ai réussi à effectuer une charge de données rapide en utilisant une charge parallèle et des tests avec plusieurs tailles de lots. Je suppose que seuls les tests personnels vous conviendront. J'espère que vous trouverez de bons conseils dans les références.