Introduction aux méthodes du noyau
Les noyaux ou méthodes de noyau (également appelés fonctions de noyau) sont des ensembles de différents types d'algorithmes qui sont utilisés pour l'analyse de modèle. Ils sont utilisés pour résoudre un problème non linéaire en utilisant un classificateur linéaire. Les méthodes de noyaux sont utilisées dans SVM (Support Vector Machines) qui sont utilisées dans les problèmes de classification et de régression. Le SVM utilise ce qu'on appelle un «Kernel Trick» où les données sont transformées et une limite optimale est trouvée pour les sorties possibles.
La nécessité de la méthode du noyau et son fonctionnement
Avant d'entrer dans le fonctionnement des méthodes du noyau, il est plus important de comprendre les machines à vecteurs de support ou les SVM car les noyaux sont implémentés dans les modèles SVM. Ainsi, les machines à vecteurs de support sont des algorithmes d'apprentissage automatique supervisés qui sont utilisés dans les problèmes de classification et de régression tels que la classification d'une pomme pour classer les fruits tout en classant un lion pour l'animal de classe.
Pour démontrer, voici à quoi ressemblent les machines à vecteurs de support:
Ici, nous pouvons voir un hyperplan qui sépare les points verts des points bleus. Un hyperplan est une dimension de moins que le plan ambiant. Par exemple, dans la figure ci-dessus, nous avons 2 dimensions qui représentent l'espace ambiant mais la seule qui divise ou classe l'espace est une dimension de moins que l'espace ambiant et est appelée hyperplan.
Mais que se passe-t-il si nous avons une entrée comme celle-ci:
Il est très difficile de résoudre cette classification en utilisant un classificateur linéaire car il n'y a pas de bonne ligne linéaire qui devrait être capable de classer les points rouges et verts car les points sont répartis de manière aléatoire. Voici l'utilisation de la fonction noyau qui prend les points à des dimensions plus élevées, résout le problème là-bas et renvoie la sortie. Pensez à cela de cette façon, nous pouvons voir que les points verts sont enfermés dans une zone de périmètre tandis que le rouge se trouve à l'extérieur, de même, il pourrait y avoir d'autres scénarios où les points verts pourraient être répartis dans une zone de forme trapézoïdale.
Donc, ce que nous faisons est de convertir le plan bidimensionnel qui a d'abord été classé par hyperplan unidimensionnel («ou une ligne droite») en zone tridimensionnelle et ici notre classificateur, c'est-à-dire que l'hyperplan ne sera pas une ligne droite mais un deux -un plan dimensionnel qui découpera la zone.
Afin d'avoir une compréhension mathématique du noyau, comprenons l'équation du noyau de Lili Jiang qui est:
K (x, y) = où,
K est la fonction du noyau,
X et Y sont les entrées dimensionnelles,
f est la carte de l'espace n-dimensionnel à m-dimensionnel et,
est le produit scalaire.
Illustration à l'aide d'un exemple.
Disons que nous avons deux points, x = (2, 3, 4) et y = (3, 4, 5)
Comme nous l'avons vu, K (x, y) =.
Calculons d'abord
f (x) = (x1x1, x1x2, x1x3, x2x1, x2x2, x2x3, x3x1, x3x2, x3x3)
f (y) = (y1y1, y1y2, y1y3, y2y1, y2y2, y2y3, y3y1, y3y2, y3y3)
donc,
f (2, 3, 4) = (4, 6, 8, 6, 9, 12, 8, 12, 16) et
f (3, 4, 5) = (9, 12, 15, 12, 16, 20, 15, 20, 25)
donc le produit scalaire,
f (x). f (y) = f (2, 3, 4). f (3, 4, 5) =
(36 + 72 + 120 + 72 +144 + 240 + 120 + 240 + 400) =
1444
Et,
K (x, y) = (2 * 3 + 3 * 4 + 4 * 5) 2 = (6 + 12 + 20) 2 = 38 * 38 = 1444.
Comme nous le constatons, f (x) .f (y) et K (x, y) nous donnent le même résultat, mais l'ancienne méthode nécessitait beaucoup de calculs (en raison de la projection de 3 dimensions en 9 dimensions) tout en utilisant le noyau, c'était beaucoup plus facile.
Types de noyau et méthodes dans SVM
Voyons quelques-unes des fonctions du noyau ou les types qui sont utilisés dans SVM:
1. Liner Kernel - Disons que nous avons deux vecteurs avec le nom x1 et Y1, alors le noyau linéaire est défini par le produit scalaire de ces deux vecteurs:
K (x1, x2) = x1. x2
2. Noyau polynomial - Un noyau polynomial est défini par l'équation suivante:
K (x1, x2) = (x1. X2 + 1) d,
Où,
d est le degré du polynôme et x1 et x2 sont des vecteurs
3. Noyau gaussien - Ce noyau est un exemple de noyau de fonction de base radiale. Voici l'équation pour cela:
Le sigma donné joue un rôle très important dans les performances du noyau gaussien et ne doit être ni surestimé ni sous-estimé, il doit être soigneusement réglé en fonction du problème.
4. Noyau exponentiel - Ceci est en relation étroite avec le noyau précédent, c'est-à-dire que le noyau gaussien avec la seule différence est - le carré de la norme est supprimé.
La fonction de la fonction exponentielle est:
Il s'agit également d'une fonction de noyau de base radiale.
5. Noyau laplacien - Ce type de noyau est moins sujet aux changements et est totalement égal au noyau de fonction exponentielle précédemment discuté, l'équation du noyau laplacien est donnée comme suit:
6. Hyperbolique ou le noyau sigmoïde - Ce noyau est utilisé dans les domaines des réseaux neuronaux d'apprentissage automatique. La fonction d'activation du noyau sigmoïde est la fonction sigmoïde bipolaire. L'équation de la fonction de noyau hyperbolique est:
Ce noyau est très utilisé et populaire parmi les machines à vecteurs de support.
7. Noyau de base radiale Anova - Ce noyau est connu pour très bien fonctionner dans les problèmes de régression multidimensionnelle, tout comme les noyaux gaussiens et laplaciens. Cela entre également dans la catégorie des noyaux à base radiale.
L'équation pour le noyau Anova est:
Il existe beaucoup plus de types de méthode de noyau et nous avons discuté des noyaux les plus utilisés. Cela dépend uniquement du type de problème qui décidera de la fonction du noyau à utiliser.
Conclusion
Dans cette section, nous avons vu la définition du noyau et son fonctionnement. Nous avons essayé d'expliquer à l'aide de diagrammes sur le fonctionnement des noyaux. Nous avons ensuite essayé de donner une illustration simple en utilisant les mathématiques sur la fonction du noyau. Dans la dernière partie, nous avons vu différents types de fonctions du noyau qui sont largement utilisées aujourd'hui.
Articles recommandés
Ceci est un guide des méthodes du noyau. Nous discutons ici d'une introduction, du besoin, de son fonctionnement et des types de méthodes du noyau avec l'équation appropriée. Vous pouvez également consulter nos autres articles suggérés pour en savoir plus -
- Algorithmes d'exploration de données
- K- signifie algorithme de clustering
- Algorithme de force brute
- Algorithme d'arbre de décision
- Méthodes du noyau dans l'apprentissage automatique
- Arbre de décision dans l'apprentissage automatique