Outils Talend - Divers outils ou composants de Talend pour l'intégration de données

Introduction sur Talend Tools

Talend open studio compte plus de 700 composants dans des domaines tels que le big data, les bases de données, le cloud, etc. verra les différents outils de talend en détail.

Composants / Outils Talend Open Studio

Talend Open Studio for Data Integration couvre les domaines / technologies suivants avec certains composants intégrés qui facilitent le traitement.

Composants Big Data
Composants métier
Composants Business Intelligence
Composants cloud
Composants de code personnalisés
Composants de qualité des données
Bases de données - composants traditionnels
Bases de données - composants d'appliance / d'entrepôt de données
Bases de données - autres composants
Composants DotNET
Composants ELT
Composants ESB
Composants de fichier
Composants Internet
Composants journaux et erreurs
Composants de groupe divers
Composants d'orchestration
Composants de traitement
Composants du système
Composants MDM Talend
Composants techniques
Composants XML

Ici, nous allons discuter de quelques composants de Talend Open Studio for Data Integration.

1. tS3Connection: ce composant est utilisé pour la connexion avec amazon s3. Les composants peuvent utiliser cette connexion pour une configuration facile de la connexion à amazon s3.

2. tS3Input: permet de lire un fichier à partir du système de fichiers S3. Il a certaines fonctions similaires à tfileinputdelimited mais utilise le service Amazon Simple Storage.

3. tS3Output: il est utilisé pour écrire des données dans un système de fichiers S3. Il a certaines fonctions similaires à tfileoutputdelimited mais utilise le service Amazon Simple Storage.

4. ts3Put: Ceci est utilisé pour placer un fichier dans un système de fichiers S3 à partir d'un système local.

5. ts3Get: ce composant est utilisé pour récupérer un fichier de S3 dans un système local.

6. tS3BucketCreate: Ce composant est utilisé pour créer un compartiment sur S3.

7. tS3BucketDelete: Ce composant est utilisé pour supprimer un compartiment sur S3.

8. tS3BucketExist: ce composant est utilisé pour vérifier si le compartiment donné existe sur S3. Il renvoie le résultat en valeur booléenne vraie ou fausse qui peut être utilisée comme carte globale.

9. tS3BucketList: ce composant est utilisé pour répertorier tous les compartiments sur S3.

10. tS3Copy: ce composant est utilisé pour copier l'objet S3 d'un compartiment vers un autre compartiment. Il est similaire au tFileCopy.

11. tS3Delete: ce composant est utilisé pour supprimer l'objet S3 d'un compartiment. Il est similaire au tFileDelete.

12. tS3Close: ce composant est utilisé pour fermer la connexion S3 qui est créée à l'aide de tS3Connection.

13. tCreateTemporaryFile: Ce composant crée un fichier temporaire comme tFileOutputDelimited mais ce fichier temporaire peut être supprimé automatiquement une fois le travail terminé ou il peut être conservé.

14. tFileArchive: ce composant est utilisé pour créer un fichier compressé à partir d'un ou plusieurs fichiers. Le chiffrement peut également être appliqué en compression.

15. tFileCompare: Ce composant est utilisé pour comparer deux fichiers et renvoie les données de comparaison.

16. tFileUnarchive: Ce composant est utilisé pour décompresser un fichier compressé.

17. tFileCopy: ce composant est utilisé pour copier un fichier ou un dossier dans un répertoire cible.

18. tFileDelete: ce composant est utilisé pour supprimer un fichier ou un dossier.

19. tFileExist: Ce composant est utilisé pour vérifier si un fichier existe ou non. Il renvoie le résultat en valeur booléenne vraie ou fausse qui peut être utilisée comme globalMap.

20. tFileInputExcel: ce composant est utilisé pour lire un fichier Excel basé sur le schéma défini.

21. tMsgBox: Ce composant est utilisé pour afficher une boîte de dialogue avec un bouton OK.

22. tRowGenerator: Ce composant est utilisé pour créer un nombre quelconque de lignes avec des colonnes ayant des valeurs spécifiques ou des valeurs aléatoires. Il est principalement utilisé à des fins de test et pour créer des exemples de fichiers de test.

23. tIterateToFlow: Il est utilisé pour transformer une liste de flux en flux principal, ce qui signifie itérer-> ligne-> principal.

24. tFlowToIterate: Il est utilisé pour transformer le flux principal en une liste de flux qui signifie main-> ligne-> itérer.

25. tLoop: Il est utilisé pour boucler une tâche particulière.

26. tReplicate: il est utilisé pour répliquer le schéma entrant en deux flux de sortie.

27. tRunJob: Il est utilisé pour exécuter un autre travail talend dans le travail en cours après le sous-emploi ok.

28. tSleep: Il est utilisé pour faire exécuter l'exécution du travail ou une pause de sous-job particulière pendant un temps donné en secondes.

29. tWaitForFile: Il examinera un répertoire particulier et déclenchera le composant suivant en fonction de la condition.

30.tMysqlBulkExec: ce composant est utilisé pour offrir des gains de performances lors de l'exécution des opérations d'insertion sur une base de données Mysql.

31. tMysqlClose: Ce composant est utilisé pour fermer la connexion mysql créée par tMysqlConnection.

32. tMysqlRow: ce composant est utilisé pour exécuter directement la requête SQL sur la base de données MySQL.

33. tMysqlTableList: ce composant est utilisé pour répertorier les noms d'une table.

34. tMysqlColumnList: ce composant est utilisé pour itérer toutes les colonnes d'une table.

35. tMysqlCommit: ce composant est utilisé pour valider les modifications apportées dans la base de données Mysql.

36. tMysqlLastInsertId: ce composant est utilisé pour obtenir la dernière valeur de clé insérée

37. tMysqlOutputBulk: ce composant est utilisé pour écrire un fichier avec des colonnes basées sur le délimiteur

38. tMysqlOutputBulkExec: ce composant est utilisé pour écrire un fichier avec des colonnes en fonction du délimiteur, puis exécute le fichier dans la base de données Mysql.

39. tContextLoad: ce composant est utilisé pour charger des valeurs dans le contexte à partir d'un flux d'entrée. Les variables de contexte doivent être créées avant de charger les valeurs dans des variables de contexte. Si les variables de contexte ne sont pas créées, un avertissement s'affichera.

40. tHiveClose: ce composant est utilisé pour fermer la connexion créée à l'aide du tHiveConnection.

41. tHiveConnection: ce composant est utilisé pour créer une connexion Hive et peut être réutilisé par d'autres composants Hive.

42. tHiveRow: ce composant est utilisé pour exécuter directement les requêtes Hive.

Conclusion

Les composants HDFS sont visibles dans Talend open studio pour Big data.
thdfsinput, thdfsoutput sont certains des composants et ils sont similaires aux composants de fichier.
tHDFSInput - Lit un fichier situé sur un système de fichiers distribué Hadoop (HDFS) donné. Il a certaines fonctions similaires à tfileinputdelimited mais utilise un système de fichiers distribué Hadoop.
tHDFSOutput - Écrit le fichier dans le système de fichiers distribué Hadoop (HDFS).
Il a certaines fonctions similaires à tfileoutputdelimited mais utilise un système de fichiers distribué Hadoop.
tHDFSPut- Il est utilisé pour placer un fichier dans le système de fichiers HDFS à partir d'un système local.
tHDFSGet - Ce composant utilisé pour récupérer un fichier de HDFS dans un système local.

Articles recommandés

Ceci est un guide des outils Talend. Nous discutons ici de l'introduction et des composants talend open studio ou des outils d'intégration de données qui incluent, tS3Connection, tS3Input, tS3Output et ts3Put, etc. Vous pouvez également consulter les articles suivants pour en savoir plus -