Introduction à la génération de données de test
Les données de test sont toute entrée donnée à un modèle d'apprentissage automatique pour tester ses performances et sa fiabilité. Afin d'obtenir des modèles Machine Learning avec d'excellentes performances, il est important pour un Data Scientist de les former avec toutes les variations possibles de données, puis de tester le même modèle, des données encore plus variées et compliquées mais tout compris. Souvent, il devient difficile d'inclure tous les scénarios et variations dans les données de test obtenues après la séparation des tests de train. Par conséquent, il devient important de créer un ensemble de données avec tous les cas d'utilisation couverts qui peut mieux mesurer les performances de notre modèle. Le processus de génération d'un tel ensemble de données est connu sous le nom de génération de données de test.
Règles de génération de données de test dans l'apprentissage automatique
Dans le monde d'aujourd'hui, la complexité augmentant de jour en jour et les délais de livraison diminuant, les scientifiques des données doivent préparer les modèles les plus performants dès que possible. Cependant, les modèles créés ne deviennent les modèles les plus performants qu'après avoir été testés sur tous les types de scénarios possibles. Tous ces scénarios peuvent ne pas être possibles pour le scientifique des données et il peut donc avoir besoin de créer des données synthétiques pour tester les modèles.
Par conséquent, pour créer ces ensembles de données synthétiques, vous devez garder à l'esprit certains types de règles ou de directives:
- Vous devez observer la distribution statistique de chaque entité dans le jeu de données d'origine ou réel. Ensuite, en conséquence, nous devons créer les données de test avec les mêmes distributions statiques.
- Nous devons comprendre les effets de l'interaction que les caractéristiques ont les unes sur les autres ou sur la variable dépendante. Par cela, nous voulons dire que nous devons préserver les relations entre les variables. Jetez un œil aux relations univariées et bivariées et essayez d'avoir les mêmes relations lors de la création des données de test.
- Les données générées doivent de préférence être aléatoires et normalement distribuées.
- Dans le cas des algorithmes de classification, nous devons contrôler le nombre d'observations dans chaque classe. Nous pouvons soit répartir les observations de manière égale pour faciliter les tests, soit avoir plus d'observations dans l'une des classes.
- Un bruit aléatoire peut être injecté dans les données pour tester le modèle ML sur les anomalies.
- Nous devons également préserver l'échelle des valeurs et les variations des caractéristiques des données de test, c'est-à-dire que les valeurs de la caractéristique doivent être représentées correctement. Par exemple, les valeurs d'âge devraient être comprises entre 0 et 100 et non pas un certain nombre en milliers.
- Nous aurons besoin d'un ensemble de données extrêmement riche et suffisamment grand, qui peut couvrir tous les scénarios de cas de test et tous les scénarios de test. Des données de test mal conçues peuvent ne pas tester tous les tests possibles ou scénarios réels qui entraveront les performances du modèle.
- Nous devons générer l'ensemble de données suffisamment grand pour que non seulement les performances mais aussi les tests de résistance soient effectués sur le modèle et la plate-forme logicielle.
Comment générer des données de test?
Généralement, les données de test sont un référentiel de données générées par programme. Certaines de ces données peuvent être utilisées pour tester les résultats attendus du modèle d'apprentissage automatique. Ces données peuvent également être utilisées pour tester la capacité du modèle d'apprentissage automatique à gérer les valeurs aberrantes et les situations invisibles données en entrée du modèle. Il est important de savoir quel type de données de test doit être généré et dans quel but.
Une fois que nous le savons, nous pouvons suivre l'une des méthodes suivantes pour générer les données de test:
1. Nous pouvons générer manuellement les données de test en fonction de notre connaissance du domaine et du type de test que nous devons effectuer sur un modèle d'apprentissage automatique spécifique. Nous pouvons utiliser Excel pour générer ces types d'ensembles de données.
2. Nous pouvons également essayer de copier d'énormes blocs de données qui sont à notre disposition dans un environnement de production, y apporter les modifications nécessaires, puis tester les modèles d'apprentissage automatique sur le même.
3. Il existe de nombreux outils disponibles sur le marché gratuitement ou payants que nous pouvons utiliser pour créer des jeux de données de test.
4. Les jeux de données de test peuvent également être générés à l'aide de R ou Python. Il existe plusieurs packages comme faker qui peuvent vous aider dans la génération d'ensembles de données synthétiques.
Avantage de la génération de données de test
Bien que les données de test aient été générées par certains moyens et ne soient pas réelles, il s'agit toujours d'un ensemble de données fixe, avec un nombre fixe d'échantillons, un modèle fixe et un degré fixe de séparation des classes. La génération de données de test offre encore plusieurs avantages:
1. De nombreuses organisations peuvent ne pas être à l'aise pour partager les données sensibles de leurs utilisateurs avec leurs fournisseurs de services, car cela peut enfreindre les lois sur la sécurité ou la confidentialité. Dans ces cas, les données de test générées peuvent être utiles. Il peut reproduire toutes les propriétés statistiques des données réelles sans exposer les données réelles.
2. En utilisant les données de test générées, nous pouvons incorporer dans les données des scénarios auxquels nous n'avons pas encore fait face, mais que nous attendons ou pourrons faire face dans un avenir proche.
3. Comme discuté précédemment, les données générées préserveront les relations univariées, bivariées et multivariées entre les variables tout en préservant les statistiques spécifiques seules.
4. Une fois que nous avons obtenu notre méthode pour générer les données, il devient facile de créer des données de test et de gagner du temps sur la recherche de données ou sur la vérification des performances du modèle.
5. Les données de test fourniraient à l'équipe la flexibilité nécessaire pour ajuster les données générées au fur et à mesure des besoins afin d'améliorer le modèle.
Conclusion
Pour conclure, des données de test bien conçues nous permettent d'identifier et de corriger les défauts graves du modèle. Avoir accès à des ensembles de données de haute qualité pour tester vos modèles d'apprentissage automatique vous aidera énormément à créer un produit d'IA robuste et infaillible. La génération d'ensembles de données de test synthétiques est une aubaine dans le monde d'aujourd'hui où la confidentialité est la
Articles recommandés
Cela a été un guide pour la génération de données de test. Nous discutons ici des règles et de la façon de générer des données de test avec leurs avantages. Vous pouvez également consulter les articles suivants pour en savoir plus -
- Test Fuzz
- Apprentissage automatique de la science des données
- Outils de science des données
- Technologies Big Data