Carrière à Hadoop - Introduction
Hadoop n'est pas un simple framework dans le monde du Big Data. Il possède un vaste écosystème avec un ensemble de technologies connexes. Pour la même raison, une carrière à Hadoop est prometteuse. Si vous avez une bonne compréhension des principes fondamentaux de Hadoop, ce sera une base pour une grande carrière dans Hadoop.
Éducation à la carrière à Hadoop
Comme de nombreuses technologies de données émergentes, Hadoop ne demande pas de formation spécifique en tant que telle. Environ la moitié des développeurs Hadoop sont issus de milieux autres que l'informatique comme les statistiques ou la physique. Il est donc clair que le contexte n'est pas un obstacle à l'entrée dans le monde de Hadoop à condition que vous soyez prêt à apprendre les principes de base. Il existe de bons cours en ligne sur Hadoop - celui d'eduCBA en est le meilleur exemple - master-apache-Hadoop
De plus, si vous souhaitez approfondir un domaine spécifique de la gestion de cluster Hadoop ou de la modélisation de données dans les matériaux Hive sur chaque sujet spécifique disponible sous forme de cours et de manuels en ligne. La plupart du temps, les clusters Hadoop seront configurés dans un fournisseur de cloud comme AWS ou Azure. Alors, familiarisez-vous avec n'importe quel fournisseur de cloud de votre choix vous aidera beaucoup. Le service Hadoop d'AWS est appelé EMR.
La spécialisation populaire comprend:
- Spark - Moteur de traitement de données évolutif en mémoire
- HBase - Aucune base de données SQL au-dessus de HDFS
- Beam - Traitement en continu des données de première approche
- Pig - Script de transformation de données (ETL)
- Hive - Entreposage de données
- Mahout, Spark MLlib - Apprentissage automatique évolutif sur Hadoop
- Apache Drill - Moteur SQL sur Hadoop
- Flume, Sqoop - Services d'ingestion de données
- Solr & Lucene - Recherche et indexation
Cheminement de carrière à Hadoop
Selon les résultats de Stack Overflow Survey 2017, Hadoop est leader dans le cadre le plus populaire et le plus apprécié dans l'espace Big Data (Survey Link). Cela n'est possible que parce que des personnes de différents horizons informatiques ont trouvé Hadoop un cheminement de carrière potentiel et veulent changer.
Quel que soit votre rôle actuel dans le domaine informatique, il y aura un passage facilement adaptable à une carrière dans le monde Hadoop. Quelques exemples populaires -
- Développeur de logiciels (programmeur) -> Développeur de données Hadoop qui gère différents SDK d'abstraction Hadoop et tire de la valeur des données.
- Analyste de données -> Vous maîtrisez donc SQL, une opportunité énorme dans Hadoop de travailler sur des moteurs SQL comme Hive ou Impala
- Analyste d'affaires -> Les organisations essayant de devenir plus rentables en utilisant des données collectées massivement, et le rôle d'un analyste d'affaires est crucial à cet égard.
- Développeur ETL -> Si vous travaillez en tant que développeur ETL traditionnel, vous pouvez facilement passer à Hadoop ETL à l'aide d'outils tels que Spark.
- Testeurs -> Il y a une énorme demande de testeurs dans le monde Hadoop. En comprenant les principes fondamentaux de Hadoop et du profilage des données, tous les testeurs peuvent passer à ce rôle.
- Professions BI / DW -> Peut facilement passer de l'architecture de données Hadoop à la modélisation de données.
- Professionnels de l'informatique seniors -> Avec une compréhension approfondie du domaine et des défis existants dans le monde des données, un professionnel senior peut devenir consultant en apprenant comment Hadoop essaie de résoudre ces défis.
- Il existe des rôles génériques comme Data Engineers ou Big Data Engineering, qui sont chargés d'implémenter la solution principalement sur les fournisseurs de cloud. En acquérant des connaissances sur les composants de données du cloud, ce sera un rôle prometteur.
Postes de travail
L'écosystème Hadoop offre une variété de cheminements de carrière
- Développeur MapReduce - Il s'agit essentiellement d'un rôle de développeur Java qui comprend également le fonctionnement interne des systèmes Hadoop. Il existe une abstraction comme Hive ou Pig disponible, mais les travaux MapReduce sont nécessaires pour les systèmes hautement performants. Les développeurs de MapReduce sont ceux qui comprennent un système d'entrée et de sortie et qui ont payé très cher.
- Administrateurs Hadoop - Ce sont des personnes chargées de maintenir le cluster Hadoop sain et performant. Cela peut inclure des tâches d'administrateur typiques comme des vérifications régulières de l'intégrité du système, mais une majorité de tâches nécessaires pour comprendre l'architecture du système Hadoop.
- Devops - Déployez de nouveaux composants système et d'autres modifications liées au développement dans le cluster Hadoop. La responsabilité de ce rôle varie beaucoup et dépend de la culture d'une organisation.
- Développeur de données - Traitement des données sur Hadoop. C'est l'un des rôles les plus populaires de l'écosystème Hadoop.Les personnes issues du domaine SQL ou de l'analyse conviennent le mieux à ces rôles. Travaille principalement sur une abstraction de haut niveau de Hadoop comme Hive ou Pig.
- Administrateur de la sécurité des données - Les données sont les actifs les plus précieux et leur sécurisation est la plus importante. Les administrateurs de sécurité garantissent les politiques et les meilleures pratiques standard de l'industrie pour protéger les données, avec une compréhension des limites d'un système
- Visualiseur de données - Gérez les outils de visualisation de nouvelle génération qui permettent le découpage et l'agrégation dynamiques des données avec la mise en cache des données en mémoire
- Développeur ETL - Transformez les données pour améliorer la qualité des données ou selon la logique métier à l'aide des outils de l'écosystème Hadoop. Le processus ETL peut être en streaming ou en batch.
- Architecte système - Concevez des systèmes hautement performants en tenant compte de la disponibilité et de la durabilité des données de manière rentable. Dépend fortement du fournisseur de matériel.
- Architecte de données - En dehors de la conception logique / physique traditionnelle des données, beaucoup de choses comme le codage des colonnes, la dénormalisation, la conception de partitionnement, etc. seront la responsabilité de l'architecte de données.
Cours recommandés
- Formation en ligne sur XML et Java
- Cours Node.JS
- Cours de formation Silverlight
- Programme Ember.JS
Un salaire
Un salaire moyen d'un développeur de logiciels aux États-Unis est de 90 956 $ par an tandis que le salaire moyen d'un développeur Hadoop est beaucoup plus élevé - 118 234 $ par an (selon Indeed.com - Indeed.com)
Salaires du développeur Hadoop dans les meilleures entreprises des États-Unis (Ref: Indeed.com)
| Pomme | 147 573 $ par an |
| Wipro | 110 553 $ par année |
| HERO.jobs | 158 715 $ par année |
| MBCAA | 133422 $ par année |
| Ventures Unlimited Inc | 130 000 $ par an |
| Nityo Infotech Services Pvt. Ltd. | 128 633 $ par année |
| ÉTOILE POLAIRE | 126 370 $ par année |
| Technologie PRI | 121 396 $ par année |
| NITYO INFOTECH | 116 909 $ par année |
| HortonWorks, Inc | 110 710 $ par année |
Perspectives de carrière
L'écosystème Hadoop se divise beaucoup pour répondre à un changement des besoins de l'entreprise. Alors que les données générées augmentent de façon exponentielle et que de plus en plus d'organisations se tournent vers les données, la pertinence du système Hadoop ne fera qu'augmenter.
Certaines des tendances notables:
- Passer du traitement par lots à la première approche de traitement des données en continu à l'aide de Spark and Beam
- Plus de modèle d'apprentissage automatique en temps réel appliqué aux données en temps réel à l'aide de Spark ML
- Découplage des moteurs SQL du stockage de données comme Presto au-dessus de S3 pour une analyse ad hoc au-dessus du lac de données.
- Bases de données MPP en colonnes comme AWS Redshift pour un accès rapide aux données
Comme un aspect fondamental du traitement des Big Data repose sur des systèmes distribués tolérants aux pannes et évolutifs horizontalement, qui sont bien mis en œuvre par Hadoop, Hadoop continuera à être un écosystème de premier plan pour le traitement des données.
Article recommandé
Cela a été un guide de carrière à Hadoop. Ici, nous avons discuté de l'introduction, de l'éducation, du cheminement de carrière dans Hadoop, du salaire et des perspectives de carrière dans Hadoop. vous pouvez également consulter l'article suivant pour en savoir plus -
- Azure Paas vs Iaas et leurs avantages utiles
- Découvrez les différences entre Java et Node JS
- Les meilleurs conseils d'experts sur les carrières en mainframe
- Carrières en SQL
- Carrières utiles en tant qu'ingénieur logiciel
- Administrateur Hadoop | Compétences et cheminement de carrière