Introduction à l'algorithme de renforcement de gradient
La technique consistant à faire passer les apprenants de la semaine à un apprenant fort est appelée Boosting. Le processus d'algorithme de renforcement de gradient fonctionne sur cette théorie de l'exécution. Un algorithme de boosting Ada peut être décrit pour expliquer et comprendre facilement le processus par lequel le boosting est injecté dans les jeux de données.
Arbre de décision
Un arbre de décision est un outil d'aide au verdict qui détermine les décisions en impliquant un arbre et leurs conséquences probables, ainsi que les résultats d'événements possibles, les coûts des ressources, etc. cette technique leur permet d'afficher des instructions de contrôle qui opèrent sur des résultats conditionnels.
Les opérations de recherche utilisent largement ces arbres de décision spécifiquement dans l'analyse des décisions, il leur permet également d'atteindre un objectif et est également un outil admiré dans l'apprentissage automatique.
Algorithme AdaBoost
L'algorithme AdaBoost commence par la préparation d'un arbre de décision dans lequel chaque observation se voit attribuer un poids équivalent. Après avoir évalué l'arbre principal, nous augmentons les poids de cette interprétation qui sont compliqués à classer et subordonnons les poids à ceux qui sont faciles à catégoriser. Le deuxième arbre est donc développé à partir de ces données préjugées. Ici, la conception consiste à améliorer la prophétie de l'arbre primaire.
Calculez ensuite l'erreur de catégorisation à partir de ce modèle innovant de collecte à 2 arbres et cultivez le troisième arbre pour prévoir les résidus modifiés. La procédure ci-dessus est répétée dans quelques cas. Les observations qui ne sont pas bien définies dans les arbres précédents sont déterminées à l'aide des arbres suivants. Les prédictions du modèle d'assemblage final sont par conséquent la figure préjugée des prédictions terminées par les modèles d'arbre antérieurs.
Modèle GBM de formation
Afin d'instruire un modèle gbm en langage R, la bibliothèque GBM doit être installée et un appel à cette bibliothèque GBM installée à partir du programme appelant est instancié. En outre, les arguments nécessaires doivent être spécifiés, les arguments clés sont répertoriés ci-dessous,
1. La formule
2. Distribution des variables de réponse
3. Variable de prédicteur
4. Variable de réponse
Les distributions habituelles utilisées dans les modèles GBM sont Bernoulli, Poisson, etc.
Enfin, les données et les arguments n.trees devraient être spécifiés. Par défaut, le modèle gbm prendra pour acquis 100 arbres, ce qui peut offrir une approximation de bonne qualité du concert de notre gbm.
Exemple de code # 1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Voici une étape suivante, le jeu de données réel est divisé en train et en jeu de données de test et ceci est réalisé en utilisant la fonction createDataPartition (). Ce type de fractionnement sera très utile dans la dernière partie pour la formation de l'ensemble de test en utilisant l'ensemble de train formé et en plus de cela, les prédictions réelles pour les données d'origine sont déterminées.
Exemple de code # 2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
L'étape suivante consiste à coacher un modèle de gbm au moyen de notre prof de formation. Alors que tous les arguments supplémentaires sont exactement ce qui a été notifié dans les sections ci-dessus. deux autres arguments supplémentaires sont mentionnés: l'interaction, la profondeur et le retrait.
1. La profondeur d'interaction définit la profondeur maximale de chaque arbre
2. La mesure du taux d'intellect est obtenue en utilisant le rétrécissement. ici toutes les valeurs supplémentaires dans les arbres d'apprenants de base sont diminuées en utilisant ce rétrécissement.
De plus, cette technique permet d'afficher des instructions de contrôle qui opèrent sur des résultats conditionnels. Les opérations de recherche utilisent largement ces arbres de décision spécifiquement dans l'analyse des décisions. Cela nous permet également d'atteindre un objectif et sont également un outil admiré dans l'apprentissage automatique.
Sortie du modèle GBM
La sortie du modèle GBM contient des détails sur le nombre total d'arbres impliqués pour l'exécution. Cela aidera à prédire l'influence de la variable prédictive dans le modèle.Le tableau d'importance variable et le tracé du modèle peuvent également être dérivés de la fonction récapitulative de la sortie GBM.
Méthode Predict () utilisant le modèle GBM
Donc, pour faire les prédictions sur le dessus des données saisies dans le modèle GBM comme comme d'autres modèles, la méthode de prédiction est implicite. De plus, le décompte du nombre total d'arbres de décision utilisés doit être mentionné manuellement dans la section des arguments de la méthode.
Exemple de code
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Améliorations du modèle GBM
Contraintes d'arbre
- Il est significatif que les apprenants faibles comprennent les compétences mais restent faibles.
Mises à jour pondérées
- L'addition séquentielle est appliquée à partir des prédictions de chaque arbre
- Le don de chaque arbre à ce montant doit être massif pour ralentir l'apprentissage de l'algorithme. ce processus est appelé rétrécissement.
Algorithme de renforcement de gradient stochastique
Ce bénéfice équivalent peut être utilisé pour diminuer l'association flanquée d'arbres.
Algorithme de renforcement de dégradé pénalisé
Les arbres paramétrés peuvent être remplis de contraintes supplémentaires, l'arbre de décision classique ne peut pas être utilisé comme apprenants faibles. Au lieu de cela, un arbre personnalisé appelé arbre de régression est utilisé qui a des valeurs numériques dans les nœuds feuilles.
Articles recommandés
Cela a été un guide pour l'algorithme de renforcement du gradient. Nous discutons ici d'une introduction, Arbre de décision, Algorithme AdaBoost, Formation du modèle GBM, Améliorations du modèle GBM avec quelques exemples de code. Vous pouvez également consulter nos autres articles suggérés pour en savoir plus -- Algorithme d'arbre de décision
- Algorithmes d'apprentissage automatique
- Algorithme XGBoost
- Algorithmes de science des données
- Algorithme C ++ | Exemples d'algorithme C ++
- Implémentation de la régression de Poisson dans R