Introduction aux alternatives Hadoop

Apache Hadoop est un framework monstrueux qui utilise plusieurs autres composants tels que HDFS, Hive, Spark, YARN et Zookeeper. Il est utilisé pour traiter et analyser les données récupérées à partir de sources internes ou externes. Il peut évoluer de plusieurs machines ou serveurs à des milliers d'entre eux. Il existe de nombreuses fonctions de bibliothèque intégrées qui peuvent détecter et gérer les dysfonctionnements.

Composants de Hadoop

1) Système de fichiers distribués Hadoop (HDFS):

Il s'agit du réservoir de stockage de données dans Hadoop. Il fonctionne sur le principe des données distribuées, où d'énormes ensembles de données sont divisés en petites parties et stockés sur plusieurs machines dans un cluster.

2) MapReduce:

Il s'agit d'un modèle de programmation permettant d'effectuer des analyses de manière parallèle sur les données qui résident dans différents nœuds d'un cluster.

3) Ruche:

Un framework Open Source qui est utilisé pour interroger les données structurées à l'aide d'un langage Hive-Query. La fonction d'indexation est utilisée pour accélérer le processus de requête.

4) Ambari:

Une plate-forme pour surveiller la santé du cluster et automatiser les opérations. Il possède une interface utilisateur Web simple et peut facilement être installé et configuré.

Liste des alternatives Hadoop

Voici les différentes alternatives Hadoop qui sont les suivantes:

Le traitement par lots

Ici, le traitement se fait uniquement sur les données d'archives. Par exemple, les audits financiers et le recensement sont une analyse effectuée sur des données anciennes pour fournir une meilleure prédiction des résultats futurs. Ces données peuvent contenir des milliards de lignes et de colonnes. Le traitement par lots est le mieux adapté pour le traitement de données volumineuses sans avoir besoin d'une analyse en temps réel.

Traitement en temps réel

Il est également connu sous le nom de Stream-Processing. Ici, les données sont traitées de temps à autre au fur et à mesure qu'elles sont générées pour fournir un aperçu rapide des résultats probables. La détection des tremblements de terre et les marchés boursiers sont les meilleurs exemples où l'analyse en temps réel est un must.

Apache Spark

Spark est un framework, utilisé avec Hadoop pour traiter des données par lots ou en temps réel sur des machines en cluster. Il peut également être utilisé en mode autonome, récupérant et stockant des données sur des serveurs tiers sans utiliser HDFS. C'est un produit open-source. Il fournit des API écrites à l'aide de SCALA, R ou Python qui prennent en charge le traitement général. Pour traiter des données structurées, Spark-SQL peut être utilisé. Spark Streaming effectue des analyses en temps réel bien nécessaires. Spark prend en charge l'apprentissage automatique à l'aide de MLIB. Au final, les données traitées peuvent être visualisées à l'aide de Graphix.

La caractéristique la plus notable de Spark est le traitement en mémoire. L'ensemble du traitement des données a lieu dans la mémoire et non sur le disque. Cette méthode enregistre le temps de lecture-écriture de l'entrée sur le disque et la sortie de celui-ci. Spark est rapide comme l'éclair et est presque 100 fois plus rapide que le traitement Hadoop. La fonction entière est définie et soumise au contexte Spark. Alors seulement, le traitement recommence à zéro. Cette méthode est appelée exécution différée. Kafka, Flume sont utilisés comme entrées pour le streaming de données. Les données structurées ou non structurées peuvent être utilisées par Spark pour l'analyse. Les flux de données sont un ensemble de données pour un intervalle de temps donné dans Spark Streaming. Ils sont convertis en lots et soumis au moteur Spark pour traitement. Les données structurées sont converties en trames de données avant d'utiliser Spark-SQL pour une analyse plus approfondie.

Apache Storm

Apache Storm est également l'une des alternatives de Hadoop qui est la mieux adaptée pour les analyses distribuées en temps réel. Il est facile à installer, convivial et ne produit aucune perte de données. Une tempête a une puissance de traitement très élevée et offre une faible latence (généralement en quelques secondes) par rapport à Hadoop.

Nous allons voir de plus près le workflow de Storm:

  • La topologie Storm (similaire à un DAG mais un plan d'exécution physique) est soumise à Nimbus (Master Node).
  • Les tâches et l'ordre dans lequel elles doivent être exécutées sont soumis au Nimbus.
  • Le Nimbus distribue uniformément les tâches disponibles aux superviseurs (Spouts) et le processus est effectué par les Worker Nodes (Bolts).
  • La santé des becs et des boulons est surveillée en permanence via Heartbeats. Une fois le superviseur décédé, le Nimbus attribue la tâche à un autre nœud.
  • Si le Nimbus meurt, il est automatiquement redémarré par les outils de surveillance. Pendant ce temps, les superviseurs continuent à accomplir leurs tâches qui avaient été assignées précédemment.
  • Une fois le Nimbus redémarré, il continue de fonctionner là où il s'est arrêté. Il n'y a donc pas de perte de données et chaque donnée traverse la topologie au moins une fois.
  • La topologie continue de fonctionner à moins que le Nimbus ne soit arrêté ou arrêté de force.
  • Storm utilise Zookeeper pour surveiller le Nimbus et les autres nœuds de supervision.

Big Query

Les bases de données sont utilisées pour le traitement transactionnel. Les gestionnaires créent des rapports et analysent les données de diverses bases de données. Des entrepôts de données ont été introduits pour récupérer les données de plusieurs bases de données à travers l'organisation. Google a développé Big query qui est un entrepôt de données géré par lui-même. Pour gérer des requêtes très complexes, on peut avoir besoin de serveurs et de machines Node très performants qui peuvent coûter très cher. La mise en place de l'infrastructure peut prendre plusieurs semaines. Une fois le seuil maximal atteint, il doit être augmenté. Pour surmonter ces problèmes, Big query fournit un stockage sous la forme du cloud Google. Les nœuds de travail évoluent jusqu'à la taille d'un centre de données si nécessaire pour effectuer une requête complexe en quelques secondes. Vous payez pour ce que vous utilisez, c'est-à-dire l'interrogation. Google s'occupe des ressources, de leur maintenance et de leur sécurité. L'exécution de requêtes sur des bases de données normales peut prendre de quelques minutes à plusieurs heures. Les requêtes volumineuses traitent les données beaucoup plus rapidement et conviennent principalement au streaming de données telles que les jeux en ligne et l'Internet des objets (IoT). La vitesse de traitement atteint des milliards de lignes en une seconde.

Presto

Une requête Presto peut être utilisée pour combiner des données provenant de diverses sources à travers l'organisation et les analyser. Les données peuvent résider dans la ruche, le SGBDR ou Cassandra. Presto est le mieux adapté pour les analystes qui attendent le rapport interrogé dans son intégralité en quelques minutes. L'architecture est analogue à un système de gestion de base de données classique avec l'utilisation de plusieurs nœuds sur un cluster. Il a été développé par Facebook pour effectuer des analyses et trouver des informations à partir de leurs données internes, y compris leur entrepôt de données 300PB. Plus de 30 000 requêtes sont exécutées sur leurs données pour numériser sur un pétaoctet par jour. D'autres grandes sociétés telles que Airbnb et Dropbox utilisent également Presto.

Article recommandé

Ceci a été un guide pour les alternatives Hadoop. Nous discutons ici des composants de Hadoop, du traitement par lots et du traitement en temps réel des alternatives Hadoop. Vous pouvez également consulter les articles suivants pour en savoir plus:

  1. Emplois d'administrateur Hadoop
  2. Hadoop vs performances SQL
  3. Carrière à Hadoop
  4. Hadoop vs Spark
  5. Administrateur Hadoop | Compétences et cheminement de carrière

Catégorie:

Big Data