Introduction à l'apprentissage automatique non supervisé
Avez-vous déjà réfléchi à la façon dont un enfant est capable de distinguer les pommes et les oranges quand il ne sait pas ce qu'elles sont réellement, comment elles ont un goût mais en fonction de la couleur et de la taille, il peut les séparer en 2 groupes sans aucune information préalable? Pouvons-nous nous attendre à la même segmentation qu'un enfant des machines si on lui donne les informations de couleur et de taille? Voyons comment nous pouvons y arriver! Dans cette rubrique, nous allons découvrir le Machine Learning non supervisé.
«Apprentissage automatique», comme le terme le suggère, nous enseignons aux machines à effectuer des tâches semblables à celles des humains et comment les humains apprennent, soit par quelqu'un, soit par observation. Comme les humains, la façon dont la machine apprend.
L'apprentissage automatique peut être divisé en 3 parties: -
- Enseignement supervisé
- Apprentissage non supervisé
- Apprentissage par renforcement
Types d'apprentissage automatique
L'apprentissage par renforcement est un apprentissage basé sur l'agent qui implique une récompense et une punition pour les actions entreprises par un agent. L'objectif final est de maximiser la récompense globale dans le processus d'apprentissage de l'environnement.
Lorsque vous avez des données d'entrée-sortie, en bref, des données étiquetées par exemple, une taille et un poids donnés pour déterminer si une personne est un homme ou une femme peuvent être considérés comme une tâche d'apprentissage supervisé (par quelqu'un dans le cas des humains).
Mais dans de nombreux scénarios réels, ces données étiquetées ou annotées ne sont pas toujours disponibles. Plusieurs fois, nous sommes confrontés à des problèmes de segmentation des objets en fonction de leurs propriétés qui ne sont pas explicitement mentionnées. Comment résoudre ce problème? Eh bien, l'apprentissage non supervisé est la solution.
Wikipédia dit que l'apprentissage non supervisé est un type d'apprentissage hébbien auto-organisé qui aide à trouver des modèles auparavant inconnus dans un ensemble de données sans étiquettes préexistantes. Dans l'apprentissage non supervisé, nous n'avons aucune information d'étiquette, mais nous souhaitons tout de même obtenir des informations à partir des données en fonction de leurs différentes propriétés.
Types d'apprentissage automatique non supervisé
Les tâches d'apprentissage non supervisées peuvent être largement divisées en 3 catégories:
- Exploration de règles d'association
- Regroupement
- Système de recommandation
1. Association Rule Mining
Lorsque nous avons des données transactionnelles pour quelque chose, cela peut être pour des produits vendus ou toute donnée transactionnelle qui importe, je veux savoir, existe-t-il une relation cachée entre l'acheteur et les produits ou produit à produit, de sorte que je puisse en quelque sorte tirer parti de ces informations pour augmenter mes ventes. L'extraction de ces relations est au cœur de l'Association Rule Mining. Nous pouvons utiliser les algorithmes de croissance AIS, SETM, Apriori et FP pour extraire les relations.
2. Clustering
Le regroupement peut être effectué sur toutes les données pour lesquelles nous ne disposons pas des informations de classe ou d'étiquette. Nous voulons regrouper les données de sorte que les observations ayant des propriétés similaires appartiennent au même cluster / groupe et la distance inter-cluster doit être maximale. Alors que la distance intra-cluster doit être minimale. Nous pouvons regrouper les données de l'électeur pour connaître l'opinion sur le gouvernement, ou regrouper les produits, en fonction de leurs caractéristiques et de leur utilisation. Segmentez la population en fonction des caractéristiques du revenu ou utilisez le clustering dans les ventes et le marketing.
Nous pouvons utiliser K-Means, K-Means ++, K-Medoids, Fuzzy C-means (FCM),
Expectation-Maximization (EM), Clustering Agglomératif, DBSCAN, types de Clustering Hiérarchique en tant que lien unique, lien complet, lien médian, algorithmes de méthode de Ward pour le clustering.
3. Système de recommandation
Le système de recommandation est essentiellement une extension de l'exploration de règles d'association dans le sens où, dans ARM, nous extrayons des relations et dans le système de recommandation, nous utilisons ces relations pour recommander quelque chose qui a des chances d'acceptation plus élevées par l'utilisateur final. Les systèmes de recommandation ont gagné en popularité après que Netflix a annoncé un grand prix d'un million de dollars en 2009.
Les systèmes de recommandation travaillent sur les données transactionnelles, qu'il s'agisse de transactions financières, de commerce électronique ou de transactions d'épicerie. De nos jours, des acteurs géants de l'industrie du commerce électronique attirent les clients en faisant une recommandation personnalisée pour chaque utilisateur en fonction de leur historique d'achat passé et des données d'achat de comportements similaires d'autres utilisateurs.
Les méthodes de développement des systèmes de recommandation peuvent être largement divisées en filtrage collaboratif et filtrage basé sur le contenu. Dans le filtrage collaboratif, nous avons à nouveau le filtrage collaboratif utilisateur-utilisateur et le filtrage collaboratif article-article qui sont des approches basées sur la mémoire et la factorisation matricielle et la décomposition en valeurs singulières (SVD) sont des approches basées sur un modèle.
Applications de l'apprentissage non supervisé
Comme les données mondiales augmentent énormément chaque jour, l'apprentissage non supervisé a de nombreuses applications. Nous créons toujours des données en utilisant des plateformes de médias sociaux ou du contenu vidéo sur YouTube et souvent, nous ne le faisons même pas délibérément. Toutes ces données ne sont pas structurées et les étiqueter pour des tâches d'apprentissage supervisé sera fatigant et coûteux.
Voici quelques applications intéressantes de l'apprentissage automatique non supervisé.
- Épicerie ou magasin / marché de commerce électronique: extraire les règles d'association à partir des données transactionnelles des clients et des recommandations pour que les consommateurs achètent des produits.
- Plateforme de médias sociaux: extraire des relations avec différents utilisateurs, pour suggérer des produits ou des services. Recommander de nouvelles personnes pour la connexion sociale.
- Services: Recommandations de services de voyage, recommandations de maisons à louer ou services de jumelage.
- Banque: Clients du cluster en fonction de leurs transactions financières. Transaction frauduleuse de cluster pour la détection de fraude.
- Politique: opinions des électeurs du groupe sur les chances de gagner pour un parti en particulier.
- Visualisation des données: avec le clustering et l'incorporation de voisinage stochastique t-distribué (t-SNE), nous pouvons visualiser des données de haute dimension. En outre, cela peut être utilisé pour réduire la dimensionnalité.
- Divertissement: Recommandations pour les films, la musique, comme le font Netflix et Amazon.
- Segmentation d'images: regroupez les parties d'images en fonction des valeurs de pixels les plus proches.
- Contenu: journaux personnalisés, recommandations de pages Web, applications d'apprentissage en ligne et filtres de courrier électronique.
- Découverte structurelle: Avec le clustering, nous pouvons découvrir toute structure cachée dans les données Cluster les données Twitter pour l'analyse des sentiments.
Conclusion
L'apprentissage automatique non supervisé n'est pas trop quantifiable, mais peut résoudre de nombreux problèmes dans lesquels les algorithmes supervisés échouent. Il existe de nombreuses applications à l'apprentissage non supervisé dans de nombreux domaines où nous avons des données non structurées et non étiquetées. Nous pouvons utiliser des techniques d'apprentissage non supervisées pour apprendre à nos machines à faire un meilleur travail que nous. Ces dernières années, les machines ont surpassé les humains en termes de tâches qui sont considérées comme résolues par les humains depuis des siècles. J'espère qu'avec cet article, vous avez compris ce qu'est et comment des techniques d'apprentissage automatique non supervisées peuvent être utilisées pour résoudre des problèmes du monde réel.
Articles recommandés
Ceci est un guide de l'apprentissage automatique non supervisé. Nous discutons ici des types de machine learning et des types de machine learning non supervisés ainsi que de ses applications. Vous pouvez également consulter les articles suivants pour en savoir plus -
- Algorithmes d'apprentissage automatique
- Qu'est-ce que l'apprentissage automatique?
- Introduction à l'apprentissage automatique
- Outils d'apprentissage machine
- Clustering dans l'apprentissage automatique
- Apprentissage automatique hyperparamètre
- Algorithme de clustering hiérarchique
- Regroupement hiérarchique | Clustering Agglomératif & Diviseur
- Les 8 principales étapes du cycle de vie de l'apprentissage automatique