Avec l’augmentation des données mises à disposition, de nombreux risques d’erreur peuvent émerger dans un projet de data scienceQu'est-ce que la Data Science ? La Data Science, ou science des données, est une discipline interdisciplinaire qui utilise des méthodes scientifiques, des processus, des algorithmes et des systèmes pour extraire des connaissances et des insights à partir de données, qu'elles soient structurées ou no... More. Par conséquent, le data scientist peut compter sur le nettoyage des données (ou en anglais data cleaning) pour optimiser les processus de gestion de données. Cette étape est importante puisqu’elle renforce l’intégrité et la pertinence des données en réduisant les incohérences, en évitant les erreurs et en permettant de prendre des décisions mieux avisées et plus précises. Un des buts ici, va être de détecter les anomalies car celles-ci constituent un réel problème pour le data scientist, notamment à cause du biais qu’elles peuvent apporter sur le modèle et des impacts qui en découlent. Ces anomalies peuvent être, par exemple, attribuées à des erreurs d’acquisition de données ou encore à des individus ayant des comportements inhabituels.
Afin de détecter ces anomalies, qu’elles soit simples ou complexes, il est possible d’utiliser des méthodes récentes basées sur de l’Intelligence Artificielle (I.A.) et qui commencent à se démocratiser peu importe le domaine d’activité. Ces méthodes sont nombreuses, complexes et ont des objectifs différents. Il est donc important de bien choisir la méthode en fonction du besoin identifié par le data scientist et/ou par le métier. Nous allons détailler dans cet article plusieurs axes permettant d’articuler la réflexion sur le choix de la bonne méthode de détection d’anomalie, à savoir : cadrer ce que nous entendons par une anomalie, identifier la bonne méthode pour répondre au problème et partager quelques pratiques courantes relatives à la détection d’anomalies.
Cadrer ce qu’est une anomalie
Nous employons bien souvent le terme « anomalie » sans réellement comprendre ni prendre en considération ce qu’il évoque dans son entièreté. De manière globale, nous parlons d’anomalie, ou encore « outlier » en anglais, lorsqu’une observation contraste avec les autres valeurs. Cette valeur est dite « distante » des autres observations effectuées sur le même phénomène. Par ailleurs, il existe un certain nombre de critères, peu connus et maîtrisés, qui permettent de distinguer les différentes anomalies.
Faire la distinction entre valeur aberrante et valeur atypique
On peut classer les anomalies en deux catégories. Nous parlons de « donnée aberrante » s’il s’agit d’une valeur fausse, à éliminer, et de « donnée atypique » quand la valeur se distingue des autres sans être fausse pour autant. Par exemple, si une personne mesure 3 mètres, il s’agit d’une valeur aberrante (mesure impossible) ; si elle mesure 2 mètres, il s’agit seulement d’une valeur atypique (taille peu fréquente).
Définir les trois types d’anomalies différents
Il existe trois différents types d’anomalies, qu’elles soient aberrantes ou atypiques, qu’il est important de différencier afin de trouver la stratégie adaptée au contexte : les anomalies ponctuelles, les anomalies contextuelles et enfin les anomalies collectives.
Figure 1 : Anomalies ponctuelles
Figure 2 : Anomalies contextuelles
Figure 3 : Anomalies collectives
Les anomalies ponctuelles (autrement appelées anomalies globales) correspondent aux points qui diffèrent des autres selon une métrique donnée (distance par exemple). Dans la figure 1 ci-dessus, par exemple, nous remarquons deux anomalies ponctuelles : les points sont très distants du reste des données. Dans le secteur bancaire par exemple, une anomalie ponctuelle pourrait correspondre à une personne qui a des revenus particulièrement élevés.
Les anomalies contextuelles se présentent lorsque des valeurs sont normales dans un contexte, mais anormales dans un autre. Par exemple, une chute soudaine des ventes à 0 lors d’une fermeture de magasin liée au COVID ne constitue pas une anomalie si l’on tient compte du contexte. De même, une température de 0°C en été est une anomalie, alors qu’elle est normale en hiver. La figure 2 permet d’illustrer ce type d’anomalie car nous constatons que la température t2 aurait été « normale » au mois de décembre (« dec » sur le graphique) mais elle ne l’est pas pour le mois de juin (« jun » sur le graphique).
Les anomalies collectives qualifient un sous-ensemble de données qui s’éloigne du reste de l’ensemble. Prise individuellement, une observation peut ne pas être considérée comme une anomalie, alors que le groupe auquel elle appartient l’est. Dans le monde bancaire par exemple, il n’est pas anormal qu’une personne demande un octroi de crédit ; mais si tous les clients en font la demande le même jour, il y a probablement une anomalie dans les données (cf figure 3).
Distinguer les deux méthodes de détection d’anomalies
En pratique, il existe une distinction entre deux méthodes : la détection d’anomalies et la détection des nouveautés.
La détection initiale d’anomalies représente les points qui s’écartent significativement des autres au sein d’un jeu de données sur lequel le programme apprend. Il est essentiel d’identifier ces instances au préalable afin qu’elles n’impactent pas la qualité du modèle.
Détection initiale des anomalies
La détection des nouveautés correspond à la détection d’un positionnement anormal d’un nouvel individu par rapport à un jeu de données initial d’apprentissage, qui lui ne contient aucune ou un nombre connu d’anomalies. Autrement dit, nous cherchons donc à déterminer si ce nouvel individu est proche des individus du jeu de données d’apprentissage ou s’il s’en écarte significativement.
Détection des nouveautés
Identifier la bonne méthode pour répondre au problème
La multitude de structures de données et de domaines d’applications qui existent, conduit à une variété toute aussi importante de méthodes de détection d’anomalies. Cependant, déterminer celle qui sera adéquate au problème peut rapidement se transformer en un réel casse-tête.
Paramètres à prendre en compte lors du choix de la méthode
Le data scientist est souvent limité par le temps qu’il peut accorder à cette étape. Il est donc recommandé d’itérer en commençant par une méthode simple (Boxplot, régression linéaire), rapide à implémenter et permettant de détecter les outliers majeurs, avant de comparer les résultats avec des modèles plus complexes.
Il est ensuite important d’analyser la structure des données (structurées ou non, grande dimension, nombre et type de variables) et de prendre en compte des critères de mise en œuvre : la méthode nécessite-t-elle une implication humaine (supervisée, non supervisée, semi-supervisée) ? Les données suivent-elles une loi de distribution connue (méthodes paramétriques, non-paramétriques) ? Enfin, comparer les méthodes sur des critères de performance (précision, rapidité, robustesse) permet de finaliser le choix.
Vision étendue sur les différentes méthodes de détection d’anomalies
Il existe une multitude de techniques : statistiques, clustering, plus proches voisins, méthodes d’arborescence, etc. Toutes s’appuient sur les deux caractéristiques principales des anomalies : la rareté et la singularité.
Les techniques statistiques construisent un modèle à partir des données : celles qui s’en éloignent sont considérées comme anormales. On distingue l’approche non paramétrique (boxplot, histogramme) et l’approche paramétrique (ou probabiliste), plus complexe, qui nécessite de connaître a priori la distribution des données et permet de fournir un intervalle de confiance.
Les techniques basées sur les plus proches voisins comparent chaque individu à ses voisins les plus proches, ce qui nécessite un calcul de distance entre toutes les instances et peut donc s’avérer coûteux en temps d’exécution.
Les techniques de clustering divisent le jeu de données en groupes homogènes, puis désignent comme anomalies soit le cluster le plus éloigné (approche par distance), soit les données du cluster le moins dense (approche par densité).
D’autres techniques existent, basées sur l’arborescence, les machines à vecteurs de support ou les réseaux de neurones. Nous nous concentrons ici sur deux méthodes parmi les plus utilisées : l’Isolation Forest (IForest) et le Local Outlier Factor (LOF).
Ci-dessous une représentation, bien que non exhaustive, assez complète sur les différents modèles algorithmes qui existent.
Ainsi, un très grand nombre de méthodes existent pour assurer la détection des anomalies. Nous nous focaliserons, dans cet article, sur une petite partie d’entre elles parmi les plus en vues d’après les papiers de recherche : L’isolation Forest (IForest) et le Local Outlier Factor (LOF).
Utiliser des méthodes récentes de détection automatique d’anomalies
Pour une détection plus fine, il est préférable d’utiliser des méthodes de Machine Learning plutôt que des statistiques simples comme le Boxplot : elles peuvent intégrer davantage de variables et comprendre les relations sous-jacentes entre elles. Par exemple, un rouge à lèvre à 50€ quand la majorité se situe autour de 12€ pourrait être détecté comme anomalie sur la seule variable prix, alors que la marque du produit peut expliquer cet écart (d’où l’intérêt de prendre en compte simultanément toutes les variables pertinentes).
L’Isolation Forest, développée en 2008, construit un ensemble d’arbres d’isolation pour séparer les individus. Chaque arbre est construit sur un échantillon tiré aléatoirement, une particularité qui évite d’avoir à utiliser toutes les données. Le principe : diviser les données de manière itérative, en sélectionnant aléatoirement une variable et un seuil à chaque nœud. Un individu atypique se retrouve isolé (seul dans son nœud) plus rapidement qu’un individu standard. Cette méthode récente affiche souvent de bonnes performances même en grande dimension, et consomme peu de CPU, de temps et de mémoire. Elle reste néanmoins difficile à interpréter et moins adaptée aux données catégorielles.
Consultez les articles suivants pour plus de détail sur cette méthode :
- https://towardsdatascience.com/isolation-forest-the-anomaly-detection-algorithm-any-data-scientist-should-know-1a99622eec2d
- https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html
Le Local Outlier Factor (LOF), développé en 2000, compare la densité locale d’une observation à celle de ses voisins les plus proches : si elle est inférieure, l’individu se trouve dans une région peu dense et est plus susceptible d’être une anomalie. Cette approche locale reste performante et généralisable, y compris sur des données multimodales ou organisées en clusters. Elle est néanmoins difficile à interpréter, perd en efficacité avec un grand nombre de variables, et peut s’avérer coûteuse en temps de calcul.
Consultez les articles suivants pour plus de détail sur cette méthode :
- https://towardsdatascience.com/local-outlier-factor-lof-algorithm-for-outlier-identification-8efb887d9843
- https://scikit-learn.org/stable/auto_examples/neighbors/plot_lof_outlier_detection.html
Il n’y a pas de méthode « miracle » : chacune a ses avantages et inconvénients, et le bon choix dépend souvent du contexte (volume de données, nombre et types de variables, types d’anomalies recherchées). Il est recommandé d’en tester et d’en comparer plusieurs, ou de combiner les résultats obtenus.
Les avancées 2024-2025 : foundation models et IA générative appliqués à la détection d’anomalies
Le domaine de la détection d’anomalies a connu des évolutions notables depuis 2024, portées par l’essor des foundation models. Ces modèles pré-entraînés sur de très larges volumes de données, dont les grands modèles de langage (LLMQu'est-ce qu'un Large Language Model (LLM) ? Si vous avez testé des outils d'IA conversationnelle récemment, alors vous avez directement interagi avec ce qu'on appelle un Large Language Model. Derrière ce terme se cache une réalité technologique fascinante. Concrètement, il s'agit d'un système d'int... More) sont un exemple emblématique.
Une des avancées majeures concerne leur capacité d’apprentissage en contexte, qui permet une adaptation à de nouvelles tâches de détection d’anomalies à partir de simples instructions en langage naturel, sans nécessiter d’entraînement spécifique à chaque cas d’usage : une différence notable avec les approches historiques comme l’Isolation Forest ou le LOF, qui doivent être ré-entraînées pour chaque contexte.
Ces modèles se déclinent désormais en plusieurs familles selon le type de données traitées : des modèles spécialisés dans les séries temporelles, capables de détecter des anomalies dans des flux de données continues en s’appuyant sur des capacités de représentation apprises lors d’un pré-entraînement à grande échelle, mais aussi des approches dédiées aux données tabulaires, où des modèles récents s’appuient directement sur des LLM pour repérer les valeurs incohérentes dans une table de données.
Les chercheurs distinguent aujourd’hui trois rôles possibles pour ces foundation models dans un pipeline de détection d’anomalies : en tant qu’encodeurs de données, détecteurs directs d’anomalies, ou interprètes chargés d’expliquer en langage clair pourquoi une observation a été jugée anormale. Ce dernier point répond directement à l’une des limites historiques des méthodes comme l’Isolation Forest ou le LOF, souvent difficiles à interpréter pour les équipes métier.
Ces avancées restent toutefois à manier avec prudence : les foundation models sont gourmands en ressources de calcul, et leur fiabilité dans des contextes à enjeux critiques (santé, finance, cybersécurité) fait encore l’objet de recherches actives. Pour la plupart des cas d’usage métier, les méthodes plus classiques comme l’Isolation Forest ou le LOF restent aujourd’hui un point de départ pertinent, à enrichir progressivement selon la maturité du projet.
Quelques bonnes pratiques courantes relatives à la détection d’anomalies
La détection d’anomalies doit être anticipée dès l’étape de pré-processing, en commençant par des statistiques descriptives pour estimer la quantité d’anomalies potentielles et les critères qui faciliteront leur repérage. L’analyse des corrélations entre variables permet ensuite une sélection pertinente des variables à injecter dans le modèle, tout en limitant sa complexité. Cette première étude permet aussi de présenter quelques anomalies aux équipes métier, qui pourront apporter des explications complémentaires grâce à leur expertise.
Il est également essentiel de bien comprendre le fonctionnement de son modèle, notamment via des méthodes d’interprétabilité permettant de vérifier que les anomalies détectées sont bien en accord avec l’objectif recherché, et d’itérer si besoin.
Enfin, il ne faut pas négliger la supervision des anomalies détectées : les supprimer sans vérification peut faire perdre des informations importantes. Il est recommandé de mettre en place un suivi de leur quantité, de manière globale ou par variable.
Côté outils, une grande majorité de ces modèles sont implémentables sur SAS, GCP, Python ou R, avec de nombreux packages sklearn disponibles sous Python. Dataiku DSS est également une option intéressante, permettant d’appliquer ces méthodes aussi bien par du code que via une interface clic-bouton.
Au-delà du nettoyage des données, la détection de nouveautés permet de suivre en continu la qualité de représentation des nouveaux individus une fois le modèle en production, et de s’assurer qu’il s’adapte bien en cas de variation de la distribution des données. Si les nouvelles données varient de manière significative, le nombre d’anomalies détectées augmentera fortement : il sera alors utile de relancer l’apprentissage du modèle.
Perspectives
Nous avons décrit les principaux axes de réflexion sur le choix de la bonne méthode de détection d’anomalie par le data scientist afin que le projet de data science soit précis et fiable. Il existe de nombreuses méthodes, comme vu précédemment dans l’article, qui possèdent chacune leurs avantages et inconvénients en termes de complexité, simplicité et performance. Il est nécessaire de comparer ces méthodes, du plus simple au plus complexe, afin d’identifier la méthode répondant au besoin le plus rapidement et efficacement.
Si vous avez besoin d’être accompagnés sur ce type de sujet, nous pouvons mettre à profit nos expertises, validées par de nombreux retours d’expériences chez nos clients, pour vous aider à les implémenter. Contactez nos experts dès maintenant.
Léna COIC & Nicolas BETIN.
