Data Drift (Dérive des données)

À une époque où l ‘apprentissage automatique et la modélisation prédictive constituent l’épine dorsale de nombreux secteurs, il est primordial de comprendre les nuances qui ont un impact sur les performances des modèles. Vous êtes-vous déjà demandé pourquoi, malgré un développement et une validation rigoureux, les modèles d’apprentissage automatique ne parviennent pas toujours à prédire avec précision au fil du temps ? La réponse réside souvent dans un phénomène subtil mais puissant connu sous le nom de dérive des données. Cet article de blog traite de l’essence de la dérive des données, de son importance dans le paysage de l’apprentissage automatique et des caractéristiques qui la distinguent de la dérive des concepts. En explorant les implications de la dérive des données dans les secteurs de la finance, de la santé et du commerce électronique, nous souhaitons souligner l’importance d’une surveillance continue pour maintenir la précision des modèles. Êtes-vous prêt à découvrir comment la dérive des données peut influencer vos modèles de données et les stratégies permettant d’en atténuer l’impact ?

Qu’est-ce que la dérive des données ? #

La dérive des données représente un changement dans les propriétés statistiques des données d’entrée du modèle au fil du temps, ce qui peut réduire de manière significative la précision des prédictions du modèle. Comme le souligne Evidently AI, la dérive des données se produit lorsque les modèles, une fois rodés dans les environnements de production, commencent à rencontrer des données qui s’écartent de l’ensemble d’entraînement initial. Ce changement nécessite une compréhension plus approfondie de la manière dont ces changements affectent les performances du modèle et de la raison pour laquelle ils le font.

Contrairement à la dérive conceptuelle, qu’Iguazio décrit comme des changements dans la relation entre les entrées et les sorties, la dérive des données se concentre sur les altérations des données d’entrée elles-mêmes. Cette distinction est cruciale pour les scientifiques et les ingénieurs chargés de maintenir l’efficacité des modèles prédictifs dans divers domaines.

Les répercussions de la dérive des données sont considérables et touchent des secteurs comme la finance, les soins de santé et le commerce électronique. Par exemple, dans le domaine de la finance, un modèle prédisant les mouvements boursiers peut s’effondrer en raison de conditions de marché imprévues, tandis que dans le domaine de la santé, les tendances des données des patients peuvent changer, ce qui rend les modèles prédictifs précédents moins précis.

StreamSets offre une perspective plus large sur la dérive des données, en mettant l’accent sur son potentiel à perturber les architectures de données modernes et les processus qui en dépendent. Par conséquent, la surveillance continue de la dérive des données devient indispensable pour garantir la fiabilité et la précision des modèles d’apprentissage automatique au fil du temps.

La dérive des données se manifeste sous trois formes principales :

• Soudaine : Un changement brusque dans les données, souvent dû à un événement imprévu.

• Graduelle : Un changement lent et régulier des propriétés des données au fil du temps.

• Récurrente : Variations saisonnières ou cycliques des données.

Reconnaître ces types de dérive des données et leurs impacts potentiels sur la performance des modèles est la première étape vers l’atténuation de leurs effets et le maintien de la précision des modèles à long terme.

Comment fonctionne la dérive des données #

L’évolution naturelle des données

Pour comprendre la dérive des données, il faut d’abord reconnaître l’évolution naturelle des données au fil du temps. Cette évolution résulte de changements dans les phénomènes que les données visent à représenter. Comme l’a souligné DataCamp, le concept de changement de covariable est essentiel pour comprendre la dérive des données. Le changement de covariable se produit lorsque la distribution de probabilité des données d’entrée change, ce qui peut affecter de manière significative les performances du modèle s’il n’est pas pris en compte au cours du processus d’apprentissage du modèle.

Les articles moyens sur la dérive des données approfondissent ce concept en expliquant comment des changements même subtils dans la distribution des données peuvent conduire à des modèles moins efficaces, soulignant ainsi l’importance d’une formation et d’un ajustement continus des modèles. Voici un exemple :

• Un modèle de service à la clientèle prédisant le comportement des clients sur la base de données de ventes historiques pourrait ne pas tenir compte de l’évolution vers les achats en ligne, une tendance accélérée par la pandémie de COVID-19.

• Les changements saisonniers, tels que l’augmentation des ventes de crèmes glacées en été, peuvent entraîner une dérive temporaire des données dans les modèles de prévision des ventes d’une chaîne de magasins d’alimentation.

Facteurs externes influençant la dérive des données

Plusieurs facteurs externes peuvent précipiter la dérive des données :

• Les changements saisonniers : Fluctuations des données qui suivent un modèle prévisible et cyclique, affectant des secteurs comme le service à la clientèle et le tourisme.

• Tendances du marché : Les changements dans les préférences des consommateurs ou le lancement de nouveaux produits peuvent modifier considérablement le paysage des données.

• Changements sociétaux : Des événements tels que la pandémie de COVID-19 ont eu un impact profond sur le comportement des consommateurs, entraînant une dérive soudaine et significative des données dans de nombreux secteurs.

Ces facteurs mettent en évidence la nature dynamique des modèles de données utilisés, ce qui nécessite une approche souple de la maintenance et du recalibrage des modèles.

Détection de la dérive des données

La détection de la dérive des données implique une combinaison de tests statistiques et de techniques d’apprentissage automatique pour identifier les changements dans la distribution des données. Un processus typique de détection de la dérive des données peut suivre les étapes suivantes :

Collecte et prétraitement des données : Recueillir de nouvelles données et les prétraiter de la même manière que l’ensemble des données de formation afin d’en garantir la cohérence.

Mesure de la dérive : Appliquer des tests statistiques (par exemple, test KS, test du chi carré) pour comparer la distribution des nouvelles données par rapport aux données d’apprentissage. En outre, des techniques d’apprentissage automatique telles que les modèles de classification peuvent être utilisées pour mesurer le degré de prédiction des nouvelles données par le modèle.

Analyse : Examiner les résultats de la mesure de la dérive pour déterminer si une dérive significative s’est produite.

Des techniques telles que l’analyse de l’importance des caractéristiques peuvent aider à identifier les caractéristiques spécifiques qui contribuent le plus à la dérive, ce qui permet de mieux comprendre les causes sous-jacentes.

Distinguer le bruit de la dérive significative

L’un des principaux défis de la détection de la dérive des données consiste à faire la distinction entre le simple bruit – les fluctuations aléatoires des données – et la dérive significative qui nécessite un recyclage ou un ajustement du modèle. Cette distinction nécessite une expertise dans le domaine pour comprendre le contexte des données et les facteurs susceptibles d’influencer leur distribution. Par exemple, une entreprise de commerce électronique peut constater une hausse soudaine de son chiffre d’affaires :

• Une entreprise de commerce électronique peut constater un pic soudain du trafic et des ventes à la suite d’une campagne de marketing. Bien que cela puisse initialement apparaître comme une dérive des données, les experts du domaine reconnaîtraient qu’il s’agit d’un effet temporaire de la campagne.

• À l’inverse, un déclin progressif des ventes de produits peut être attribué à du bruit, mais pourrait signifier un changement à plus long terme dans les préférences des consommateurs, ce qui indiquerait une dérive significative.

L’expertise du domaine joue donc un rôle essentiel dans l’interprétation des résultats de la détection de la dérive, en veillant à ce que les modèles ne soient recalibrés qu’en cas de nécessité, et non en réponse à chaque fluctuation mineure des données.

En comprenant les mécanismes de la dérive des données, en employant des processus de détection robustes et en s’appuyant sur l’expertise du domaine pour interpréter ces résultats, les organisations peuvent mieux maintenir la précision et la fiabilité de leurs modèles prédictifs face à des paysages de données changeants.

Quelles sont les causes de la dérive des données ? #

Il est essentiel de comprendre les origines multiples de la dérive des données pour élaborer des stratégies visant à en atténuer les effets. Ces causes vont d’aspects techniques tels que les changements dans les processus de collecte de données à des changements sociétaux plus larges.

Changements dans la collecte des données et erreurs d’instrumentation

• Modifications des méthodes de collecte des données : Des modifications dans la manière dont les données sont collectées peuvent introduire des divergences. Par exemple, l’adoption d’un capteur plus sensible peut modifier la distribution des données, même si le phénomène sous-jacent mesuré n’a pas changé.

• Erreurs d’instrumentation : Des capteurs défectueux ou des erreurs de saisie des données peuvent entraîner des pics ou des chutes soudains dans les données, qui peuvent être confondus avec de véritables changements dans la distribution des données sous-jacentes.

Le blog d’Encord souligne l’importance de maintenir la cohérence des méthodes de collecte des données afin de minimiser ces types de dérives. L’étalonnage régulier des instruments et la validation des protocoles de collecte de données sont des pratiques recommandées.

Changements dans le pipeline de données

• Mises à jour du prétraitement : Les ajustements dans les étapes utilisées pour nettoyer et préparer les données pour l’analyse, tels que les changements dans la façon dont les valeurs aberrantes sont traitées ou comment les valeurs manquantes sont imputées, peuvent entraîner des changements dans les données que le modèle reçoit.

• Modifications de l’ingénierie des fonctionnalités : L’introduction de nouvelles caractéristiques ou la modification du mode de calcul des caractéristiques existantes peut avoir un impact significatif sur les données d’entrée du modèle. Cela est particulièrement vrai si le modèle s’appuie fortement sur ces caractéristiques pour les prédictions.

Dans les deux cas, il est nécessaire de disposer d’un système robuste de gestion des versions pour les pipelines de données afin de suivre les modifications et leurs effets sur les performances du modèle.

Événements sociétaux et économiques

• Fêtes et événements saisonniers : Ils peuvent entraîner des changements prévisibles et périodiques dans le comportement des consommateurs qui, s’ils ne sont pas pris en compte, peuvent donner l’impression d’une dérive des données.

• Ralentissements économiques : Les récessions peuvent modifier brusquement les habitudes de consommation, entraînant une dérive importante des données dans les modèles prédisant le comportement des consommateurs.

• Progrès technologiques : L’introduction de nouvelles technologies peut modifier les modèles de données. Par exemple, l’adoption généralisée d’appareils domestiques intelligents a modifié les habitudes de consommation d’énergie, affectant les modèles dans le secteur de l’énergie.

Les tendances des données historiques peuvent aider à anticiper ces changements, ce qui permet d’ajuster les modèles à l’avance.

Boucles de rétroaction

• Les résultats des modèles influencent les données futures : Dans certains cas, les prédictions faites par un modèle peuvent influencer le comportement qu’il tente de prédire. Par exemple, un modèle prévoyant une forte demande pour un produit peut conduire à une augmentation de la production, qui à son tour affecte la demande future.

Les boucles de rétroaction peuvent être particulièrement difficiles à identifier et à corriger, car elles nécessitent une compréhension du système plus large dans lequel le modèle fonctionne.

Effet cumulatif de petits changements

• De petits changements, apparemment insignifiants, dans la collecte et le traitement des données ou dans le phénomène sous-jacent, peuvent s’accumuler au fil du temps et entraîner une dérive importante des données. Un suivi régulier et un recalibrage des modèles sont nécessaires pour faire face à ces changements progressifs.

Le paradoxe des modèles performants

• Les modèles performants peuvent modifier le comportement qu’ils prédisent, un phénomène connu sous le nom de dérive des données auto-induite. Par exemple, un modèle de routage du trafic qui prédit et atténue avec succès les embouteillages peut amener les conducteurs à modifier leurs itinéraires sur la base des recommandations du modèle, ce qui modifie par la suite les schémas de trafic.

Ce paradoxe met en évidence l’interaction dynamique entre les modèles et le monde réel, soulignant la nécessité pour les modèles d’évoluer en permanence à mesure qu’ils influencent leur environnement.

En reconnaissant et en traitant ces diverses causes de dérive des données, les organisations peuvent mieux préparer leurs modèles prédictifs à rester précis et pertinents dans un monde en constante évolution.

Prévenir la dérive des données #

La prévention et l’atténuation de l’impact de la dérive des données nécessitent une approche à multiples facettes, depuis la conception initiale du modèle jusqu’à sa maintenance continue. La mise en œuvre de stratégies robustes peut réduire de manière significative le risque et l’impact de la dérive des données sur les modèles d’apprentissage automatique.

Conception de modèles robustes

• Sélection des caractéristiques : Optez pour des caractéristiques moins susceptibles de subir une dérive. Les données historiques permettent souvent de prédire les caractéristiques les plus stables dans le temps.

• Modèles adaptatifs : Utilisez des modèles qui peuvent s’adapter à des modèles de données changeants sans nécessiter un réapprentissage complet. Les techniques telles que l’apprentissage en ligne ou les méthodes d’ensemble qui peuvent intégrer de nouvelles données de manière incrémentielle sont particulièrement efficaces.

L’idée centrale ici est d’intégrer la flexibilité et l’adaptabilité dans le modèle dès le départ, en posant une base solide pour gérer la dérive des données.

Outils de surveillance continue et de détection des dérives

• Exploiter les outils : Mettre en œuvre des outils et des systèmes pour la surveillance continue des performances du modèle et la détection précoce de la dérive des données. Le blog Superwise ML Observability donne un aperçu des techniques de surveillance efficaces qui peuvent alerter les équipes sur des problèmes potentiels avant qu’ils n’aient un impact significatif sur la précision du modèle.

• Alertes automatisées : Mettez en place des mécanismes d’alerte automatisés pour notifier les parties prenantes concernées lorsqu’une dérive potentielle des données est détectée. Cela permet de s’assurer que les ajustements nécessaires peuvent être effectués rapidement.

La surveillance continue est essentielle pour maintenir la précision et la fiabilité des modèles d’apprentissage automatique dans les environnements de production.

Gestion du pipeline de données

• Validation dynamique des données : Mettre en œuvre des pipelines de données capables de détecter et de gérer les changements de schéma ou de qualité des données. StreamSets fournit un exemple de la façon dont les pipelines de données peuvent être conçus pour s’adapter automatiquement à la dérive des données, garantissant que les données alimentant les modèles sont conformes aux attentes.

• Évolution des schémas : Concevoir des pipelines de données pour prendre en charge l’évolution des schémas, afin de permettre l’intégration transparente de nouvelles sources et de nouveaux types de données sans interrompre les processus existants.

La mise en place de pipelines de données robustes est essentielle pour gérer la dérive des données, en veillant à ce que les données restent cohérentes, exactes et dans le bon format pour la consommation des modèles.

Recyclage régulier des modèles

• Fréquence de recyclage : Élaborer des stratégies pour déterminer la fréquence de recyclage des modèles en fonction des mesures de détection de la dérive. Il peut s’agir de cycles de recyclage planifiés ou d’approches plus dynamiques qui déclenchent le recyclage en fonction de changements spécifiques dans la qualité des données ou les mesures de performance.

• Ensembles de données actualisés : Utiliser les données les plus récentes disponibles pour le recyclage afin de s’assurer que le modèle reste aligné sur les modèles et les tendances actuels. Cela permet d’atténuer les effets de la dérive des données en maintenant le modèle à jour.

Le recyclage régulier du modèle est un élément essentiel du maintien des performances du modèle au fil du temps, permettant des ajustements au fur et à mesure que les données sous-jacentes changent.

Collaboration organisationnelle

• Équipes interfonctionnelles : Favoriser la collaboration entre les scientifiques des données, les ingénieurs et les experts du domaine. Cette approche interdisciplinaire garantit que tous les aspects de la dérive des données sont pris en compte et traités d’un point de vue technique et commercial.

• Partage des connaissances : Encouragez le partage des idées et des stratégies entre les équipes afin d’acquérir une compréhension globale de l’impact de la dérive des données sur les différents secteurs de l’organisation.

La collaboration organisationnelle améliore la capacité à gérer de manière proactive la dérive des données en tirant parti d’une expertise et de perspectives diverses.

Appel à l’action

Pour les organisations qui exploitent des modèles d’apprentissage automatique, la planification de la dérive des données n’est pas facultative, c’est une nécessité. En adoptant ces meilleures pratiques (conception robuste des modèles, surveillance continue et collaboration entre les équipes), les entreprises peuvent réduire considérablement le risque et l’impact de la dérive des données. Adoptez ces stratégies pour vous assurer que vos modèles d’apprentissage automatique restent précis, fiables et utiles au fil du temps.