Quelle est la différence entre les programmateurs de foire et de capacité?
Je suis nouveau dans le monde Hadoop et je veux savoir la différence entre les planificateurs de capacité et les responsables. Aussi, quand sommes-nous censés utiliser chacun? Veuillez répondre simplement parce que je lis beaucoup de choses sur Internet mais que je n’en tire pas grand-chose.
Une planification juste est une méthode d'affectation de ressources à des tâches, de sorte que toutes les tâches reçoivent, en moyenne, une part égale des ressources au fil du temps. Lorsqu'un seul travail est en cours d'exécution, ce travail utilise l'intégralité du cluster. Lorsque d'autres travaux sont soumis, les logements de tâches libérés sont affectés aux nouveaux travaux, de sorte que chaque travail a à peu près la même quantité de temps processeur. Contrairement au planificateur Hadoop par défaut, qui forme une file d'attente de travaux, cela permet aux travaux courts de se terminer dans un délai raisonnable, sans toutefois priver les travaux longs. C'est également un moyen raisonnable de partager un cluster entre plusieurs utilisateurs. Enfin, le partage équitable peut également fonctionner avec les priorités de travail - les priorités sont utilisées comme pondération pour déterminer la fraction du temps de calcul total que chaque travail devrait avoir.
CapacityScheduler est conçu pour permettre le partage d'un grand cluster tout en offrant à chaque organisation une garantie de capacité minimale. L'idée centrale est que les ressources disponibles dans le cluster Hadoop Map-Reduce sont réparties entre plusieurs organisations qui financent collectivement le cluster en fonction des besoins informatiques. Il y a un avantage supplémentaire dans le fait qu'une organisation peut accéder à toute capacité excédentaire non utilisée par d'autres. Cela confère aux organisations une élasticité rentable.
Vous trouverez ci-dessous une comparaison des fonctionnalités des deux planificateurs.
Fair Scheduler, répartit les pools de ressources (par pondération), avec un partage équitable au sein de chaque pool
Planificateur de capacité, alloue des ressources à des pools, avec FIFO planification dans chaque pool
Capacity Scheduler est conçu pour permettre le partage d'un grand cluster tout en offrant des garanties de capacité à chaque organisation. avec la possibilité que la capacité excédentaire ne soit pas utilisée par d'autres.