Introduction aux méthodes d'ensemble dans l'apprentissage automatique
Dans cet article, nous verrons un aperçu des méthodes d'ensemble dans l'apprentissage automatique. L'apprentissage en ensemble est une combinaison de diverses techniques d'apprentissage automatique dans un modèle prédictif pour améliorer la prédiction. L'apprentissage d'ensemble est acquis pour réduire la variance des données prédictives. Ce type d'apprentissage est destiné à minimiser les biais du modèle. L'apprentissage en ensemble est un système multimodèle dans lequel différents classificateurs ou techniques sont stratégiquement combinés pour classer ou prédire les statistiques du problème complexe avec une meilleure précision. L'objectif d'un tel apprentissage est de minimiser la probabilité d'une mauvaise sélection dans le modèle. Il désigne la confiance dans la décision prise par le modèle. L'idée de sélectionner les caractéristiques optimales s'est concrétisée dans l'apprentissage d'ensemble.
Types de méthodes d'ensemble dans l'apprentissage automatique
Les méthodes d'ensemble aident à créer plusieurs modèles, puis à les combiner pour produire de meilleurs résultats.Certaines méthodes d'ensemble sont classées dans les groupes suivants:
1. Méthodes séquentielles
Dans ce type de méthode Ensemble, il existe des apprenants de base générés séquentiellement dans lesquels réside la dépendance aux données. Toutes les autres données de l'apprenant de base dépendent quelque peu des données précédentes. Ainsi, les données mal étiquetées précédentes sont ajustées en fonction de leur poids pour améliorer les performances du système global.
Exemple : Boosting
2. Méthode parallèle
Dans ce type de méthode Ensemble, l'apprenant de base est généré dans un ordre parallèle dans lequel la dépendance aux données n'est pas présente. Toutes les données de l'apprenant de base sont générées indépendamment.
Exemple : empilement
3. Ensemble homogène
Une telle méthode d'ensemble est une combinaison des mêmes types de classificateurs. Mais l'ensemble de données est différent pour chaque classificateur. Cela permettra au modèle combiné de fonctionner plus précisément après l'agrégation des résultats de chaque modèle. Ce type de méthode d'ensemble fonctionne avec un grand nombre d'ensembles de données. Dans la méthode homogène, la méthode de sélection des caractéristiques est la même pour différentes données d'apprentissage. C'est coûteux en calcul.
Exemple: Les méthodes populaires comme l'ensachage et le boosting entrent dans l'ensemble homogène.
4. Ensemble hétérogène
Une telle méthode d'ensemble est la combinaison de différents types de classificateurs ou de modèles d'apprentissage automatique dans lesquels chaque classificateur s'appuie sur les mêmes données. Une telle méthode fonctionne pour les petits ensembles de données. En hétérogène, la méthode de sélection des caractéristiques est différente pour les mêmes données d'apprentissage. Le résultat global de cette méthode d'ensemble est réalisé en faisant la moyenne de tous les résultats de chaque modèle combiné.
Exemple : empilement
Classification technique des méthodes d'ensemble
Voici la classification technique des méthodes d'ensemble:
1. Ensachage
Cette méthode d'ensemble combine deux modèles d'apprentissage automatique, à savoir l'amorçage et l'agrégation, en un seul modèle d'ensemble. L'objectif de la méthode d'ensachage est de réduire la forte variance du modèle. Les arbres de décision ont une variance et un faible biais. Le grand ensemble de données est (disons 1000 échantillons) sous-échantillonné (disons que 10 sous-échantillons contiennent chacun 100 échantillons de données). Les multiples arbres de décision sont construits sur chaque sous-échantillon de données d'apprentissage. Tout en frappant les données sous-échantillonnées sur les différents arbres de décision, le souci de sur-ajustement des données de formation sur chaque arbre de décision est réduit. Pour l'efficacité du modèle, chacun des arbres de décision individuels est développé en profondeur contenant des données d'apprentissage sous-échantillonnées. Les résultats de chaque arbre de décision sont agrégés pour comprendre la prédiction finale. La variance des données agrégées vient se réduire. La précision de la prédiction du modèle dans la méthode d'ensachage dépend du nombre d'arbres de décision utilisés. Les divers sous-échantillons d'un échantillon de données sont choisis au hasard avec remplacement. La sortie de chaque arbre a une corrélation élevée.
2. Stimuler
L'ensemble boosting combine également différents types de classificateurs. L'amplification est l'une des méthodes d'ensemble séquentielles dans lesquelles chaque modèle ou classificateur s'exécute en fonction des fonctionnalités qui seront utilisées par le modèle suivant. De cette façon, la méthode de boosting distingue un modèle d'apprenti plus fort des modèles d'apprenants faibles en faisant la moyenne de leurs poids. En d'autres termes, un modèle entraîné plus fort dépend des multiples modèles formés faibles. Un apprenant faible ou un modèle formé à l'usure est celui qui est très moins corrélé avec la vraie classification. Mais le prochain apprenant faible est légèrement plus corrélé avec la vraie classification. La combinaison de ces différents apprenants faibles donne un apprenant fort qui est bien corrélé avec la vraie classification.
3. Empilement
Cette méthode combine également plusieurs classifications ou techniques de régression à l'aide d'un méta-classificateur ou d'un méta-modèle. Les modèles de niveau inférieur sont formés avec l'ensemble de données de formation complet, puis le modèle combiné est formé avec les résultats des modèles de niveau inférieur. Contrairement au boosting, chaque modèle de niveau inférieur est soumis à une formation parallèle. La prédiction des modèles de niveau inférieur est utilisée comme entrée pour le modèle suivant en tant que jeu de données d'apprentissage et forme une pile dans laquelle la couche supérieure du modèle est plus formée que la couche inférieure du modèle. Le modèle de couche supérieure a une bonne précision de prédiction et il est basé sur des modèles de niveau inférieur. La pile continue d'augmenter jusqu'à ce que la meilleure prédiction soit effectuée avec une erreur minimale. La prédiction du modèle ou méta-modèle combiné est basée sur la prédiction des différents modèles faibles ou modèles de couche inférieure. Il se concentre pour produire moins de modèle de biais.
4. Forêt aléatoire
La forêt aléatoire est légèrement différente de l'ensachage car elle utilise des arbres profonds montés sur des échantillons bootstrap. La sortie de chaque arbre est combinée pour réduire la variance. Lors de la croissance de chaque arbre, plutôt que de générer un échantillon d'amorçage basé sur l'observation dans l'ensemble de données, nous échantillonnons également l'ensemble de données en fonction des fonctionnalités et utilisons uniquement un sous-ensemble aléatoire d'un tel échantillon pour construire l'arbre. En d'autres termes, l'échantillonnage de l'ensemble de données se fait sur la base de caractéristiques qui réduisent la corrélation des différentes sorties. La forêt aléatoire est bonne pour décider des données manquantes. La forêt aléatoire signifie la sélection aléatoire d'un sous-ensemble d'un échantillon, ce qui réduit les chances d'obtenir des valeurs de prédiction associées. Chaque arbre a une structure différente. Une forêt aléatoire entraîne une légère augmentation du biais de la forêt, mais en raison de la moyenne de toutes les prévisions moins liées de différents arbres, la variance résultante diminue et donne globalement de meilleures performances.
Conclusion
L'approche multimodèle de l'ensemble est réalisée par des modèles d'apprentissage en profondeur dans lesquels des données complexes ont été étudiées et traitées à travers ces différentes combinaisons du classificateur pour obtenir une meilleure prédiction ou classification. La prédiction de chaque modèle dans l'apprentissage d'ensemble doit être plus non corrélée. Cela maintiendra le biais et la variance du modèle aussi bas que possible. Le modèle sera plus efficace et prédira la sortie avec une erreur minimale. L'ensemble est un algorithme d'apprentissage supervisé car le modèle est préalablement formé avec l'ensemble de données pour faire la prédiction. Dans l'apprentissage d'ensemble, le nombre de classificateurs de composants doit être le même que celui des étiquettes de classe pour obtenir une grande précision.
Articles recommandés
Ceci est un guide des méthodes d'ensemble dans l'apprentissage automatique. Nous discutons ici des types importants de méthodes d'ensemble en apprentissage automatique ainsi que de la classification technique. Vous pouvez également consulter nos autres articles suggérés pour en savoir plus -
- Introduction aux techniques d'ensemble
- Cycle de vie de l'apprentissage automatique avec avantages
- Algorithmes d'apprentissage automatique
- 24 principales questions d'entretien de Machine Learning