Comment installer Kafka?
Kafka est une plate-forme de streaming distribuée. Il aide à publier et à souscrire des flux d'enregistrements. Kafka est généralement utilisé pour créer des pipelines de données en streaming en temps réel qui permettent d'obtenir des données de manière fiable entre différents systèmes et applications. Il peut également aider à créer des applications de streaming en temps réel qui aident à transformer ou à apporter des modifications aux flux de données. Kafka permet de stocker des flux d'enregistrements dans différentes catégories appelées sujets. Chaque enregistrement se compose d'une clé, d'une valeur et d'un horodatage. Il comprend quatre composants principaux tels que l'API du producteur, l'API du consommateur, l'API des flux et l'API du connecteur. Il utilise le protocole TCP qui est une bonne communication entre les clients et les serveurs avec des performances élevées. Pour installer Kafka, les étapes suivantes peuvent être suivies.
Installer Kafka sur le système d'exploitation Windows
Pour installer Kafka sur Windows, suivez les étapes ci-dessous:
Étape 1. Téléchargez Zookeeper à partir du lien suivant: HTTP: //zookeeper.apache.org/releases.html
Une fois cela fait, téléchargez Kafka en suivant le lien: http://kafka.apache.org/downloads.html
Téléchargez également JRE selon votre système d'exploitation et l'architecture de votre processeur à partir du lien ci-dessous: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Étape 2. Configuration JDK-
Démarrez l'installation de JRE, puis cochez la case «Changer le dossier de destination». Maintenant, cliquez sur Installer.
Une fois cela fait, changez le répertoire en n'importe quel chemin sans espaces dans le nom du dossier.
Étape 3. Une fois cela fait, ouvrez les variables d'environnement à partir du Panneau de configuration -> Système -> Paramètres système avancés -> Variables d'environnement.
Étape 4. Cliquez sur Nouvelle variable utilisateur dans l'onglet Variable utilisateur, puis tapez JAVA_HOME dans le nom de la variable. Saisissez votre chemin JRE dans la section Valeur variable. Cela devrait être comme ci-dessous:
Étape 5. Cliquez maintenant sur OK.
Étape 6. Recherchez une variable de chemin dans la section «Variable système» de la boîte de dialogue «Variable d'environnement» qui s'ouvre.
Étape 7. Modifiez le chemin d'accès et tapez «;% JAVA_HOME% \ bin» à la fin du texte déjà écrit là-bas, tout comme l'image ci-dessous:
Étape 8. Pour vérifier si Java est correctement installé, allez à l'invite de commande et tapez «java - version». La version de Java installée sera affichée à l'écran.
Si vous voyez les détails ci-dessus à l'invite de commande, vous êtes bon du côté de Java.
Une fois Java installé, vous pouvez maintenant passer à la configuration de Zookeeper.
Suivez les étapes ci-dessous pour installer Zookeeper sur votre système:
- Ouvrez le répertoire où se trouve le répertoire de configuration de Zookeeper. Il peut s'agir de C: \ zookeeper-3.4.7 \ conf.
- Renommez maintenant le fichier "zoo_sample.cfg" en "cfg"
- Ouvrez ce fichier renommé dans le Bloc-notes.
- Recherchez et modifiez les éléments suivants: dataDir = / tmp / zookeeper vers \ zookeeper-3.4.7 \ data
- Tout comme nous avons ajouté une variable d'environnement pour Java, ajoutez une variable d'environnement pour Zookeeper.
- Définissez le chemin de la variable système comme suit: dataDir = / tmp / zookeeper sur: \ zookeeper-3.4.7 \ data
- Modifiez la variable système nommée 'Path' et ajoutez; % ZOOKEEPER_HOME% \ bin;
- Le port par défaut pour Zookeeper est 2181 qui peut être changé pour n'importe quel autre port en allant dans le fichier zoo.cfg.
- Exécutez Zookeeper en ouvrant une nouvelle cmd et tapez 'zkserver'. Vous verrez les détails ci-dessous.
Une fois que vous voyez cet écran, vous devez être sûr que Zookeeper a été installé avec succès.
Configurer Kafka
Une fois que Java et Zookeeper sont opérationnels sur votre système, vous pouvez procéder à la configuration de Kafka.
- Accédez au répertoire de configuration de Kafka.
- Modifiez le fichier «server.properties».
- Une fois cela fait, vous pouvez trouver et modifier la ligne où vous voyez: dirs = / tmp / kafka-logs en «log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Si votre Zookeeper fonctionne sur une autre machine, vous pouvez remplacer ce chemin par «zookeeper.connect: 2181» par une adresse IP et un identifiant de port personnalisés.
- Le port par défaut pour Kafka est le port 9092 et pour se connecter à Zookeeper c'est 2181.
Exécuter un serveur Kafka
Une fois la configuration initiale terminée, vous pouvez facilement exécuter un serveur Kafka
Avant d'exécuter le serveur Kafka, il faut s'assurer que l'instance Zookeeper est opérationnelle.
1. Accédez au répertoire d'installation de Kafka: C: /kafka_2.11-0.9.0.0
2. Ouvrez l'invite de commande et appuyez sur Maj + clic droit et choisissez l'option «Ouvrir la fenêtre de commande ici».
3. Tapez maintenant. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties et appuyez sur Entrée.
Une fois que vous exécutez cela et que tout va bien, votre écran devrait ressembler à ci-dessous:
4. Votre serveur Kafka est maintenant opérationnel. Vous pouvez créer vos propres sujets pour stocker différents messages. Une fois cela fait, vous pouvez produire et consommer des données à partir de code Java ou Scala ou exécuter directement à partir de l'invite de commande.
Installer Kafka sur Linux
Suivez les étapes ci-dessous pour installer Kafka sur Linux:
Étape 1. Téléchargez et extrayez les binaires Kafka et stockez-les dans des répertoires.
Étape 2. Extrayez l'archive que vous téléchargez à l'aide de la commande tar.
Étape 3. Pour configurer Kafka, accédez à server.properties. Ouvrez ce fichier à l'aide de la commande nano et ajoutez ce qui suit au bas du fichier.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Étape 4. Une fois cela fait, l'utilisateur devra créer des fichiers d'unité système pour les services Kafka. Cela aide à effectuer des actions de service courantes comme le démarrage, l'arrêt et le redémarrage de Kafka d'une manière cohérente avec d'autres services Linux. Zookeeper est un service utilisé par Kafka pour gérer son cluster et ses configurations.
Étape 5. Pour créer un fichier d'unité pour Zookeeper, procédez comme suit:
sudo nano /etc/systemd/system/zookeeper.service
Étape 6. Une fois ce fichier zookeeper créé, collez-le ci-dessous:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
Cette section (Unit) spécifie ici que Zookeeper nécessite que le réseau et le système de fichiers soient prêts avant de pouvoir démarrer.
La section (Service) permet au système de savoir que les fichiers zookeeper-server-start.sh et zookeeper-server-stop.sh sont présents pour démarrer et arrêter les services.
Étape 7. Maintenant, l'utilisateur doit créer un fichier système pour Kafka comme ci-dessous:sudo nano /etc/system/system/Kafka.service
Étape 8. Dans ce fichier, collez ci-dessous:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Ici, (Unit) spécifie que le fichier d'unité dépend de zookeeper.service. Cela garantit que zookeeper est démarré avant le démarrage de Kafka.
Étape 9. Vous devez maintenant activer Kafka et redémarrer le serveur. Exécuter: sudo systemctl activer Kafka
Étape 10. Test de l'installation:
Vous pouvez tester votre installation Kafka en créant un sujet, puis en le publiant aux consommateurs.
Créez un sujet en : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
Publier cet utilisateur peut créer des producteurs et des consommateurs, puis publier toutes les données sur les sujets spécifiques.
Articles recommandés
Cela a été un guide pour installer Kafka. Ici, nous avons discuté des différentes étapes pour installer Kafka sur Windows et Linux. Vous pouvez également consulter les articles suivants pour en savoir plus -
- Étape pour installer Java 8
- Comment installer C
- Guide pour installer Ruby
- Applications Kafka
- JRE vs JVM | 8 principales différences avec (infographie)