✅ Liste de commandes Hadoop FS - Top 13 des commandes Hadoop FS

Introduction à la liste de commandes Hadoop FS

Introduction à la liste de commandes Hadoop FS

Hadoop fonctionne sur son propre système de fichiers qui est distribué dans la nature connue sous le nom de «système de fichiers distribué Hadoop HDFS » . Hadoop s'appuie sur le stockage distribué et le traitement parallèle. Cette façon de stocker le fichier dans des emplacements distribués dans un cluster est connue sous le nom de système de fichiers distribué Hadoop, c'est-à-dire HDFS. Afin d'effectuer diverses opérations au niveau du fichier, HDFS fournit son propre ensemble de commandes connues sous le nom de commandes du système de fichiers Hadoop. Explorons ces commandes. Dans cette rubrique, nous allons découvrir la commande Hadoop FS.

Commandes de Hadoop FS

Toute commande HDFS a le préfixe «hdfs dfs». Cela signifie que nous spécifions que le système de fichiers par défaut est HDFS. Explorons les commandes une par une

1. Versions

La commande version est utilisée pour rechercher la version de Hadoop installée sur le système.

Syntaxe: Hadoop version

2. Commande ls

La commande ls dans Hadoop est utilisée pour spécifier la liste des répertoires dans le chemin mentionné. La commande ls prend le chemin hdfs comme paramètre et retourne une liste des répertoires présents dans le chemin.

Syntaxe: hdfs dfs -ls

Exemple: hdfs dfs -ls / user / harsha

Nous pouvons également utiliser -lsr pour le mode récursif

Syntaxe: hdfs dfs –lsr

3. Commande de chat

La commande Cat est utilisée pour afficher le contenu du fichier sur la console. Cette commande prend le chemin du fichier hdfs comme argument et affiche le contenu du fichier.

Syntaxe: hdfs dfs -cat

Exemple: hdfs dfs -cat /user/harsha/empnew.txt

4. Commande mkdir

La commande mkdir est utilisée pour créer un nouveau répertoire dans le système de fichiers hdfs. Il prend le chemin hdfs comme argument et crée un nouveau répertoire dans le chemin spécifié.

Syntaxe: hdfs dfs -mkdir

Exemple: hdfs dfs -mkdir / user / example

Dans la capture d'écran ci-dessus, il est clairement montré que nous créons un nouveau répertoire nommé «exemple» à l'aide de la commande mkdir et la même chose est affichée à l'aide de la commande ls.

Aussi pour la commande mkdir, nous pouvons donner l'option '-p'. Il crée des répertoires parents dans le chemin d'accès s'ils sont manquants.

Exemple: hdfs dfs -mkdir -p / user / test / example2

Dans la capture d'écran ci-dessus, il est tout à fait évident que nous avons l'option -p et dans le répertoire path / user / test / example2, les répertoires tests et example2 sont créés.

5. mettre la commande

mettre la commande dans HDFS est utilisé pour copier des fichiers depuis un emplacement source donné vers le chemin hdfs de destination. Ici, l'emplacement source peut être un chemin d'accès au système de fichiers local. La commande put prend deux arguments, le premier est le chemin du répertoire source et le second est le chemin HDFS ciblé

Syntaxe: hdfs dfs -put

Exemple: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2

Dans la capture d'écran ci-dessus, nous pouvons clairement voir que le fichier est copié de la source vers la destination.

6. Commande copyFromLocal

La commande copyFromLocal dans HDFS est utilisée pour copier des fichiers du chemin source vers le chemin de destination. La source de cette commande est limitée au système de fichiers local

Syntaxe: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example

Différence entre la commande put et la commande copyFromLocal: Il n'y a pas beaucoup de différence entre ces deux commandes shell hdfs. Les deux sont utilisés pour copier à partir du système de fichiers local pour cibler le chemin du fichier HDFS.

Mais la commande put est plus utile et robuste car elle permet de copier plusieurs fichiers ou répertoires vers la destination dans HDFS

hdfs dfs -put

7. get Command

La commande get dans hdfs est utilisée pour copier un fichier ou un répertoire hdfs donné vers le chemin du système de fichiers local cible. Il prend deux arguments, l'un est le chemin source hdfs et l'autre est le chemin cible du système de fichiers local

Syntaxe: hdfs dfs -get

Exemple: hdfs dfs -get / user / test / example2 / home / harsha

8. Commande copyToLocal

La commande copyToLocal dans hdfs est utilisée pour copier un fichier ou un répertoire dans hdfs vers le système de fichiers local. Dans cette commande, la destination est fixée au système de fichiers local. Cette commande copyFromLocal est similaire à la commande get.

Syntaxe: hdfs dfs -copyToLocal

Exemple: hdfs dfs -copyToLocal / user / harsha / example / home / harsha

9. commande count

La commande count dans hdfs est utilisée pour compter le nombre de répertoires présents dans le chemin donné. La commande count prend un chemin donné comme argument et donne le nombre de répertoires présents dans ce chemin.

Syntaxe: hdfs dfs -count

Exemple: hdfs dfs -count / user

10. commande mv

La commande mv dans hdfs est utilisée pour déplacer un fichier entre hdfs. La commande mv prend le fichier ou le répertoire du chemin hdfs source donné et le déplace vers le chemin hdfs cible.

Syntaxe : hdfs dfs -mv

Exemple : hdfs dfs -mv / user / test / example2 / user / harsha

Dans la capture d'écran ci-dessus, nous pouvons voir que le répertoire example2 est maintenant présent dans / user / harsha

11. Commande setrep

La commande setrep dans hdfs est utilisée pour changer le facteur de réplication du fichier donné. Par défaut, hdfs a un facteur de réplication de '3'. Si le chemin donné est un répertoire, cette commande changera le facteur de réplication de tous les fichiers présents dans ce répertoire.

Syntaxe: hdfs dfs -setrep (-R) (-w)

-w: cet indicateur spécifie que la commande doit attendre la fin de la réplication.

rep: facteur de réplication

Exemple: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt

12. du command

La commande du dans hdfs montre l'utilisation du disque pour le chemin hdfs indiqué. Il prend le chemin hdfs en entrée et renvoie l'utilisation du disque en octets.

Syntaxe : hdfs dfs -du

Exemple: hdfs dfs -du /user/harsha/empnew.txt

13. Commande rm

La commande rm dans hdfs est utilisée pour supprimer des fichiers ou des répertoires dans le chemin hdfs donné. Cette commande prend le chemin hdfs en entrée et supprime les fichiers présents dans ce chemin.

Syntaxe : hdfs dfs -rm

Exemple : hdfs dfs -rm / user / harsha / example

Conclusion - Commande Hadoop FS

Nous avons découvert par la présente diverses commandes hdfs, leurs syntaxes respectives ainsi que des exemples. Nous devons noter le démarrage de toutes les commandes hdfs, nous devons exécuter le script bin / hdfs. hdfs est suivi d'une option appelée dfs, qui indique que nous travaillons avec le système de fichiers distribué Hadoop. Avec l'aide des commandes mentionnées ci-dessus, nous pouvons négocier avec le système de fichiers HDFS.

Liste de commandes Hadoop FS - Top 13 des commandes Hadoop FS