Imbalanced Data (Données déséquilibrées)

Les ensembles de données déséquilibrées, où une classe l’emporte largement sur les autres, créent une distribution asymétrique qui pose des défis uniques. Cet article vise à démystifier le concept de données déséquilibrées, en explorant sa prévalence, les défis inhérents et la nature trompeuse des mesures de précision dans de telles situations.

Qu’est-ce que des données déséquilibrées ? #

Les données déséquilibrées font référence à des ensembles de données où la distribution des classes est inégale, ce qui conduit à un scénario dans lequel une classe (la majorité) éclipse de manière significative les autres (la minorité/les minorités). Ce déséquilibre est un phénomène courant dans plusieurs domaines :

• la finance : Détection des transactions frauduleuses, où les transactions légitimes sont largement plus nombreuses que les transactions frauduleuses.

• Santé : Diagnostic de maladies rares, la majorité des cas n’étant pas malades.

• Médias sociaux : Identification des messages de spam, les messages authentiques étant bien plus nombreux que les spams.

La présence de données déséquilibrées introduit des défis intrinsèques, principalement en raison de la difficulté pour le modèle d’apprendre à partir de la classe minoritaire en raison de sa faible représentation. Cette distribution asymétrique complique le processus d’apprentissage, rendant plus difficile pour les modèles de prédire avec précision les instances de la classe minoritaire. La complexité s’accroît encore lors du passage de problèmes binaires à des problèmes de déséquilibre multi-classes, où la présence de plusieurs classes minoritaires complique encore davantage l’apprentissage du modèle.

Les modèles formés sur des données déséquilibrées peuvent sembler faussement performants en prédisant principalement bien la classe majoritaire. Cela conduit à un problème d’évaluation critique : les mesures de précision peuvent ne pas refléter véritablement les performances d’un modèle. C’est là que le concept de précision nulle devient pertinent – une mesure de référence indiquant la précision d’un modèle s’il prédit uniquement la classe majoritaire, comme l’illustrent les leçons tirées de l’expérience d’Uber Research Journey. Cette mesure sert de rappel : un taux de précision élevé n’équivaut pas nécessairement à un modèle qui fonctionne bien, en particulier dans le contexte d’ensembles de données déséquilibrés où le véritable défi consiste à prédire correctement les rares instances de la classe minoritaire.

Impact des données déséquilibrées sur les modèles d’apprentissage automatique #

Les données déséquilibrées constituent un défi pour les modèles d’apprentissage automatique, car elles faussent leur capacité à apprendre et à prédire avec précision. Nous allons nous pencher sur les impacts multiples de ce déséquilibre, en soulignant les pièges et les considérations cruciales pour le développement de modèles robustes.

Biais en faveur de la classe majoritaire et sous-adaptation de la classe minoritaire

• Biais de formation : les données déséquilibrées biaisent intrinsèquement les modèles d’apprentissage automatique en faveur de la classe majoritaire. En effet, les modèles visent à minimiser les erreurs et le moyen le plus simple d’y parvenir est souvent de favoriser la classe ayant le plus grand nombre d’exemples.

• Sous-ajustement de la classe minoritaire : Avec peu de points de données, le modèle peine à apprendre les nuances de la classe minoritaire, ce qui entraîne une sous-performance dans ces cas critiques.

Conséquences des biais du modèle

• Augmentation des faux négatifs : Dans des applications critiques telles que la détection des fraudes et le diagnostic des maladies, le coût d’un faux négatif peut être extraordinairement élevé. Par exemple, le fait de ne pas détecter une transaction frauduleuse ou une maladie grave peut avoir des conséquences considérables.

• Impact négatif : Les répercussions vont au-delà des simples inexactitudes, affectant des vies et la stabilité financière. Cela souligne l’importance de traiter les données déséquilibrées lors de la formation des modèles.

Défis liés à la corrélation des caractéristiques et à la séparation des classes

• Complexité de la corrélation des caractéristiques : L’article de Turintech sur les problèmes courants induits par les ensembles de données déséquilibrées illustre la manière dont les données déséquilibrées compliquent la corrélation des caractéristiques. Les modèles peuvent avoir du mal à différencier les classes lorsque des caractéristiques importantes sont noyées dans la classe majoritaire.

• Séparation des classes difficile : L’asymétrie de la distribution des données peut conduire à des modèles qui séparent mal les classes, confondant les instances de la classe minoritaire avec du bruit ou des valeurs aberrantes.

Évaluation des performances des modèles

• Mesures de précision trompeuses : Les mesures traditionnelles telles que la précision ne sont plus fiables dans le contexte de données déséquilibrées. Un modèle peut atteindre une précision élevée en se contentant de prédire correctement la classe majoritaire, sans tenir compte de la classe minoritaire.

• Nécessité d’autres mesures : Il est donc nécessaire d’adopter des mesures d’évaluation plus nuancées qui prennent en compte les performances des deux classes, telles que la précision, le rappel et le score F1.

Surajustement et sous-ajustement

• Ajustement excessif à la classe majoritaire : Les modèles ont tendance à s’adapter excessivement à la classe majoritaire, capturant le bruit plutôt que les modèles utiles.

• Mauvaise généralisation : Par conséquent, ces modèles sont peu performants sur les données non vues, en particulier sur les instances appartenant à la classe minoritaire.

Confiance des prédictions

• Fiabilité réduite : La confiance dans les prédictions, en particulier pour la classe minoritaire, diminue avec le déséquilibre des données. Les modèles peuvent présenter une grande incertitude dans ces prédictions critiques, ce qui nuit à leur utilité.

• Vital dans les décisions à fort enjeu : Dans les domaines où les décisions ont des implications significatives, tels que les soins de santé et la sécurité, la confiance dans chaque prédiction est primordiale.

Interprétabilité du modèle compromise

• Importance déséquilibrée des caractéristiques : L’importance des caractéristiques peut être biaisée en faveur de celles qui indiquent la classe majoritaire, ce qui complique l’interprétation du modèle. Comprendre pourquoi un modèle fait une certaine prédiction devient un défi lorsque les données ne représentent pas toutes les classes de manière équitable.

• Impact sur la prise de décision : Cela pose un risque non seulement pour la précision des prédictions, mais aussi pour le processus de prise de décision, où la compréhension du « pourquoi » d’une prédiction est souvent aussi importante que la prédiction elle-même.

La myriade de façons dont les données déséquilibrées affectent les modèles d’apprentissage automatique souligne la nécessité d’approches réfléchies de la préparation des données, de la sélection des modèles et du choix des mesures d’évaluation. Relever ces défis de front permet de développer des modèles qui sont non seulement précis, mais aussi équitables et fiables dans toutes les classes.

Techniques de traitement des données déséquilibrées #

Le voyage sur le terrain des données déséquilibrées exige une boîte à outils conçue pour équilibrer la balance, en veillant à ce que les modèles d’apprentissage automatique apprennent de toutes les classes de la même manière. Explorons l’arsenal de techniques disponibles pour relever les défis posés par les ensembles de données déséquilibrées.

Techniques de rééchantillonnage

• Suréchantillonnage de la classe minoritaire : Cette technique consiste à créer des copies supplémentaires des exemples de la classe minoritaire, augmentant ainsi leur présence dans l’ensemble de données. Il s’agit d’une approche directe pour rendre les classes plus équilibrées.

• Sous-échantillonnage de la classe majoritaire : Cette méthode consiste à réduire le nombre d’exemples de la classe majoritaire pour qu’il corresponde au nombre d’exemples de la classe minoritaire. Bien qu’elle permette d’équilibrer l’ensemble de données, elle risque de perdre des informations précieuses.

Techniques avancées : SMOTE

• Technique de suréchantillonnage synthétique des minorités (SMOTE) : Comme le souligne l’article de KDnuggets sur le traitement des données déséquilibrées, SMOTE génère des exemples synthétiques plutôt que de dupliquer des exemples existants. Cette méthode interpole de nouveaux exemples dans l’espace des caractéristiques, ce qui ajoute de la diversité et aide le modèle à apprendre plus efficacement de la classe minoritaire.

Apprentissage sensible aux coûts

• Pénalisation des erreurs de classification : L’ajustement de la fonction de coût pour pénaliser plus fortement la mauvaise classification de la classe minoritaire encourage le modèle à accorder une plus grande attention à ces exemples critiques. Cette méthode rend le processus d’apprentissage intrinsèquement sensible au déséquilibre.

Méthodes d’ensemble : Forêt aléatoire

• Exploitation de plusieurs arbres de décision : Random Forest, une méthode d’ensemble, traite intrinsèquement les données déséquilibrées en construisant plusieurs arbres de décision et en agrégeant leurs prédictions. Cette approche permet non seulement d’améliorer la robustesse du modèle, mais aussi de mieux gérer le déséquilibre des classes.

Techniques de détection des anomalies

• La classe minoritaire en tant qu’anomalie : Dans les scénarios où les instances de la classe minoritaire sont nettement moins nombreuses, il peut être efficace de les traiter comme des anomalies. Les techniques de détection des anomalies sont conçues pour identifier des événements ou des observations rares, ce qui les rend adaptées aux ensembles de données déséquilibrés.

Ingénierie des caractéristiques

• Mise en évidence des caractéristiques de la classe minoritaire : La création de nouvelles caractéristiques ou la transformation de caractéristiques existantes pour mieux capturer l’essence de la classe minoritaire peut atténuer de manière significative les effets des données déséquilibrées. En mettant l’accent sur des caractéristiques uniques, les modèles peuvent apprendre à reconnaître et à prédire les instances de la classe minoritaire avec une plus grande précision.

Choisir le bon algorithme

• Sensibilité au déséquilibre : Tous les algorithmes ne sont pas égaux lorsqu’il s’agit de traiter des données déséquilibrées. Certains, comme les algorithmes à base d’arbres, sont naturellement plus résistants. La sélection d’un algorithme moins affecté par le déséquilibre est cruciale pour obtenir des performances fiables.

Utilisation de la connaissance du domaine

• Orienter le choix de la technique : La compréhension du contexte et des nuances des données aide à choisir les techniques les plus appropriées pour gérer le déséquilibre. La connaissance du domaine est inestimable, car elle éclaire les décisions relatives au rééchantillonnage, à l’ingénierie des caractéristiques et à la sélection des algorithmes, garantissant ainsi une approche adaptée à chaque ensemble de données unique.

L’adoption de ces techniques donne aux praticiens les moyens de traiter efficacement les données déséquilibrées, ouvrant ainsi la voie à des modèles d’apprentissage automatique plus précis et plus équitables. En appliquant soigneusement une combinaison de rééchantillonnage, de techniques avancées telles que SMOTE, d’apprentissage sensible aux coûts et en tirant parti de la connaissance du domaine, il est possible de relever les défis posés par les ensembles de données déséquilibrés, en veillant à ce que les modèles fonctionnent de manière optimale dans toutes les classes.

Mesures d’évaluation pour les données déséquilibrées #

Dans le domaine de l’apprentissage automatique, en particulier lorsqu’il s’agit de données déséquilibrées, il peut être trompeur de se fier uniquement à la précision pour mesurer les performances d’un modèle. Cette section souligne l’importance d’adopter une approche multidimensionnelle de l’évaluation, en mettant en évidence les mesures qui offrent un aperçu plus nuancé de la capacité d’un modèle à traiter efficacement des ensembles de données déséquilibrées.

Aller au-delà de la précision

La précision, bien qu’utile, ne dit pas tout, en particulier dans les scénarios déséquilibrés où un modèle peut prédire la classe majoritaire pour toutes les instances tout en obtenant une précision élevée. Ce phénomène souligne la nécessité d’adopter des mesures plus granulaires permettant de disséquer les performances du modèle en fonction des deux classes, majoritaire et minoritaire.

Précision, rappel et score F1

• La précision englobe la proportion de vraies prédictions positives dans l’ensemble des prédictions positives faites par le modèle, ce qui constitue une mesure essentielle dans les applications où le coût des faux positifs est élevé.

• Le rappel, ou sensibilité, mesure la proportion de vrais positifs correctement identifiés, ce qui est crucial lorsque l’absence d’une instance positive entraîne une pénalité importante, comme dans le cas du diagnostic de maladies.

• Le score F1 harmonise la précision et le rappel en une seule mesure, ce qui donne une vision équilibrée des performances du modèle, en particulier lorsque le coût des faux positifs et des faux négatifs est similaire.

L’ensemble de ces mesures offre une évaluation plus complète des performances d’un modèle, en mettant en évidence ses forces et ses faiblesses dans les différentes dimensions des données.

La matrice de confusion : Un outil d’évaluation visuel

La matrice de confusion jette les bases d’une compréhension détaillée des prédictions du modèle, en les classant en vrais positifs, faux positifs, vrais négatifs et faux négatifs. Cet outil de visualisation permet de calculer la précision, le rappel et le score F1, offrant ainsi un aperçu immédiat des performances du modèle dans les différentes classes.

Courbe ROC (Receiver Operating Characteristic) et aire sous la courbe (AUC)

• La courbe ROC compare le taux de vrais positifs au taux de faux positifs à différents seuils, ce qui permet de mieux comprendre les compromis entre la capture des vrais positifs et la minimisation des faux positifs.

• La SSC quantifie la capacité globale du modèle à établir une discrimination entre les classes pour tous les niveaux de seuil, une SSC plus élevée indiquant une meilleure performance du modèle.

La courbe ROC et la SSC sont essentielles pour évaluer les performances des modèles dans les problèmes de classification binaire, car elles fournissent une vue d’ensemble de l’efficacité des modèles.

Courbes de précision et de rappel (PR)

En particulier dans les ensembles de données fortement déséquilibrés, les courbes PR apparaissent comme une alternative supérieure aux courbes ROC, en se concentrant sur la relation entre la précision et le rappel pour différentes valeurs de seuil. Cette métrique est particulièrement utile lorsque la classe positive est rare mais présente un intérêt significatif.

Validation croisée K-fold

La validation croisée, en particulier la variante K-fold, offre une méthodologie solide pour évaluer les performances des modèles. En divisant les données en K plis et en entraînant et testant le modèle de manière itérative, la validation croisée K-fold prend en compte la variance de l’ensemble de données, y compris les déséquilibres, ce qui garantit une estimation plus fiable des performances.

Mesures d’évaluation personnalisées et surveillance continue

• L’adaptation des mesures d’évaluation à des applications spécifiques permet une compréhension nuancée des performances du modèle, en tenant compte de la dynamique unique des coûts des faux positifs et des faux négatifs.

• Le contrôle continu et l’ajustement des seuils garantissent que les modèles restent sensibles aux changements dans la distribution des classes au fil du temps et conservent leur efficacité face à l’évolution des paysages de données.

En conclusion, un cadre d’évaluation à multiples facettes, englobant la précision, le rappel, le score F1, les matrices de confusion, les courbes ROC et PR, la validation croisée et les mesures personnalisées, est essentiel pour évaluer avec précision les performances d’un modèle dans le contexte de données déséquilibrées. Cette approche permet non seulement de révéler les forces et les limites d’un modèle, mais aussi de guider l’amélioration itérative nécessaire pour obtenir des performances optimales dans toutes les classes.