Introduction aux planificateurs Hadoop

Lorsque nous parlons de Hadoop, la première chose qui nous vient à l'esprit est le big data. Mais nous sommes-nous jamais demandé que Hadoop en soi n'est pas seulement une technologie, il englobe plutôt de nombreux outils et techniques à l'intérieur, alors comment pouvons-nous exactement atteindre ce qui est prévu via Hadoop automatiquement. La réponse à cette question est en utilisant des planificateurs Hadoop.

Il permet un niveau élevé de traitement du système et est également connu comme le système à usage général qui agit sur le niveau de distribution d'un ensemble de données et d'informations. Il s'agit d'un système multitâche qui est utilisé pour traiter simultanément plusieurs ensembles de données pour de nombreux utilisateurs et tâches. Auparavant, un seul planificateur était utilisé pour toutes les tâches, mais maintenant les planificateurs Hadoop sont ceux qui sont utilisés avec la logique JobTracker et sont également pris en charge par Hadoop.

Top 4 des types de planificateurs Hadoop

Il existe plusieurs types de planificateurs Hadoop que nous utilisons souvent:

1. Planificateur Hadoop premier entré premier sorti

  • Comme son nom l'indique, il s'agit de l'un des plus anciens planificateurs de travaux qui fonctionne sur le principe du premier entré et premier sorti. Fondamentalement, lorsque nous parlons d'un processus tel que celui de JobTracker, nous parlons de l'extraction de travaux de la file d'attente qui est souvent considérée comme la file d'attente de travail.
  • Selon cette file d'attente, le travail le plus ancien, c'est-à-dire celui qui a été le premier, sera également le premier à être exécuté.
  • Cela a toujours été considéré comme une approche beaucoup plus simple que d'autres techniques de planification et, par conséquent, peu de réflexion a été accordée à l'abandon de cette technique uniquement pour trouver de nouvelles approches avec de meilleures capacités de planification, car elles comprenaient également en elles-mêmes les concepts de dimensionnement et de priorité du travail.

2. Planificateur de capacité Hadoop

  • Le planificateur de capacité Hadoop ressemble plus ou moins à l'approche FIFO, sauf qu'il utilise également la hiérarchisation des tâches. Celui-ci adopte une approche légèrement différente lorsque nous parlons du niveau de planification multi-utilisateurs.
  • Celui-ci est connu pour planifier et simuler un cluster MapReduce distinct pour chaque organisation ou utilisateur et cela se fait avec le type de planification FIFO.

3. Hadoop Fair Type Scheduler

  • Lorsqu'il est nécessaire de fournir une quantité distincte et raisonnable de capacité de cluster avec le temps et la période, nous utilisons le planificateur de foire Hadoop. Il est utile pour obtenir tous les clusters même si un travail particulier est en cours d'exécution.
  • De plus, tous les emplacements libres du cluster sont fournis à tous les travaux de manière à ce que chaque utilisateur obtienne une part normalisée de la partie de son cluster à mesure que plus de travaux deviennent utiles à soumettre.
  • S'il y a le pool qui n'a pas encore reçu sa part de la part équitable et une part normalisée pendant une durée et une période raisonnablement bonnes, la préemption entre en jeu, tuant ainsi toutes les tâches mises en commun et fonctionnant avec la capacité de fournir ces pools. emplacements pour fonctionner sous la capacité.
  • De plus, il est également connu sous le nom de module contrib, ce qui signifie qu'en copiant le contrôle basé sur Hadoop et le répertoire basé sur le planificateur équitable dans le répertoire lib et en plaçant le fichier JAR à l'emplacement approprié, cette technique de planification peut être activée. La seule chose à faire est de configurer la propriété du planificateur de tâches sur mapred.FairScheduler.

4. Autres approches concernant le planificateur

  • Hadoop garantit d'offrir une disposition de fourniture de clusters virtuels, ce qui signifie que le besoin d'avoir des clusters réels physiques peut être minimisé et cette technique est connue sous le nom de HOD (Hadoop on Demand).
  • Il utilise le gestionnaire de ressources basé sur Torque pour maintenir les nœuds en place et son allocation en fonction des besoins du cluster virtuel.
  • Il est utilisé pour initialiser la charge et le système qui est basé sur les nœuds particuliers à l'intérieur du cluster virtuel et non physique et également avec les nœuds alloués, uniquement une fois que les fichiers de configuration sont préparés automatiquement.
  • Le cluster HOD pourrait également être utilisé de manière relativement indépendante une fois l'initialisation effectuée. En un mot, un modèle en bref qui est utilisé pour le déploiement de ces gros clusters Hadoop se trouve dans l'infrastructure cloud et c'est ce qu'on appelle le HOD. Il partage relativement moins de nœuds et offre donc une sécurité plus élevée.

Importance de l'utilisation des planificateurs Hadoop

  1. D'après les types de planificateurs Hadoop, il devrait être clair où se situe l'importance de l'utilisation de ces planificateurs Hadoop. Si vous exécutez un grand cluster qui a différents types de travaux, différentes priorités et tailles avec plusieurs clients, choisissez le bon type de planificateur Hadoop pour devenir important.
  2. Ceci est important car il garantit l'accès garanti au niveau de capacité inutilisé et l'utilisation optimale des ressources en hiérarchisant efficacement les tâches dans les files d'attente. Même si cette partie des planificateurs Hadoop est relativement facile, l'utilisation de planificateurs équitables est généralement le bon choix s'il y a une différence entre le nombre et les types de clusters exécutés au sein d'une même organisation.
  3. Ce planificateur équitable peut toujours être utilisé pour fournir et répartir de manière non uniforme la capacité du pool de travaux et cela se fait de manière beaucoup plus simple et configurable. L'ordonnanceur équitable vient également à notre secours lorsque nous parlons de la présence de types d'emplois diversifiés car il peut être utilisé pour fournir des temps de réponse plus élevés pour des emplois relativement plus petits qui sont mélangés avec les types d'emplois plus importants et le soutien pour ceux-ci est inclus dans l'utilisation interactive de modèles.
  4. Les planificateurs de capacité sont utiles, lorsque vous êtes plus préoccupé par les files d'attente plutôt que par le niveau des pools créés et que le niveau configurable de la carte et la réduction des emplacements de type de travail sont disponibles et que la file d'attente peut se permettre d'obtenir une capacité garantie du cluster.

Conclusion

Dans cet article, nous avons lu sur les ordonnanceurs Hadoop, leur signification, leur introduction, les types d'ordonnanceurs Hadoop, leurs fonctions et également appris l'importance de ces ordonnanceurs Hadoop. Lorsque l'on se réfère à l'écosystème et à l'environnement du Big Data, les programmateurs Hadoop sont souvent quelque chose dont on ne parle pas, mais qui revêt une importance capitale et ne peut pas se permettre de rester tel quel. J'espère que vous avez aimé notre article.

Articles recommandés

Ceci est un guide pour les planificateurs Hadoop. Nous discutons ici de l'introduction et des 4 principaux types de planificateur Hadoop avec l'importance de l'utiliser. Vous pouvez également consulter les articles suivants pour en savoir plus-

  1. Composants Swing en Java
  2. JTabbedPane en Java
  3. Mot-clé protégé en Java
  4. JTextArea en Java

Catégorie:

Big Data