Personnaliser la relation qu’une entreprise met en oeuvre pour chacun de ses clients est un facteur clé de la fidélisation de long-terme et est vitale pour la stratégie marketing d’une entreprise, et donc sa croissance. Cela est d’autant plus important pour les entreprises où l’attrition est un problème majeur, notamment à cause de la complexité ou du coût d’acquisition de nouveaux clients. C’est le cas par exemple des télécoms, des assurances.

Afin de personnaliser cette relation client, il est possible de déterminer, pour chaque client, quelle est la prochaine meilleure étape à réaliser (Next Best Action, abrégé NBA). Cependant, l’évaluation de la pertinence de l’approche est complexe, car l’entreprise ne sait pas encore quelles prochaines actions seraient pertinentes vu qu’elle ne les a pas encore mises en place. Nous allons détailler dans cet article la construction d’un modèle NBA et l’évaluation de sa performance hors production.

L’objectif de la fidélisation

Les modèles NBA peuvent permettre de personnaliser tout un type d’actions, comme par exemple la personnalisation du contenu (comme Netflix), la solution à apporter dans un centre de relation client, l’envoi d’offres promotionnelles ciblées, etc.

Prenons le cas d’une entreprise qui cherche à prévenir l’attrition de ses clients, et qui propose un service (par abonnement ou non) avec lequel ses clients interagissent souvent. L’attrition sera donc ici définie comme le fait d’annuler un abonnement ou de fortement décroître l’usage de ces services (chute de X% sur le dernier mois par rapport au mois précédent, par exemple). Pour les clients prédits comme étant à fort risque de churn (= attrition), nous souhaitons mettre en place des actions marketing et commerciales afin de réduire ce risque : envoi de coupons et réductions, appel sortant du service client pour identifier les insatisfactions du client, etc.

Cette entreprise, comme elle est data-driven (et donc accompagnée par AVISIA 👩‍💻), enregistre l’historique des interactions entre le client et l’entreprise (usage du service, contacts avec le service client, navigation sur le site Internet de l’entreprise, …), mais aussi les différentes offres marketing qui ont été mises en place pour ce client. Pour complexifier la tâche, supposons que nous ne connaissons pas la logique du ciblage des différentes offres marketing mises en place : l’offre a été envoyée par un découpage géographique, selon une segmentation comportementale, avec une segmentation démographique (genre, âge, revenus, …) ou autre.

L’objectif est donc de créer un modèle qui détermine la NBA, c’est-à-dire choisir la prochaine étape selon le profil du client dans sa relation avec l’entreprise. Et, par la suite, d’évaluer la performance de ce modèle avec uniquement des données passées, afin de voir s’il peut être déployé en production.

Schéma synthétique du projet NBA

Pour simplifier un peu le projet, nous choisissons de n’optimiser que la prochaine meilleure action pour chaque client, et non une potentielle suite d’actions à mener. Dans le cas des séquences d’actions, les méthodes de reinforcement learning sont plus adaptées, mais nécessitent des volumes de données plus conséquents.

Problématiques rencontrées

Quelles sont les problématiques liées à ce projet ?

1. Nous ne connaissons pas les anciens critères d’attribution de la NBA, et surtout s’ils ont été faits de manière aléatoire ou non. Dans le cas échéant (aléatoire), si nous supposons qu’en moyenne, nos clients historiques consomment le service et réagissent de la même façon aux actions que les clients futurs, alors le projet gagne en simplicité ; dans le cas contraire, des biais d’attribution apparaissent.
2. Idéalement, la vérification de la pertinence du modèle NBA se fait en production, c’est-à-dire que nous proposons une action pour un client et nous vérifions a posteriori que le choix a été le bon. Le problème dans ce cas est qu’une mauvaise attribution peut détériorer la relation client, et donc faire perdre du revenu à l’entreprise.
   Une autre méthode serait de mettre en place des A/B tests pour chaque action. Dans notre cas, étant donné que les actions peuvent être multiples et que chaque profil est différent des autres, cette méthode est complexe et couteuse à mettre en place.
   Il faut donc mettre en place une méthode rigoureuse d’évaluation hors production (de manière offline).

Grace à notre expertise AVISIA, nous proposons une solution avec 4 étapes principales :

1. La correction du biais d’attribution,
2. L’estimation par un modèle du risque de churn selon les différentes attributions,
3. La détermination de la méthode d’attribution de la NBA,
4. L’évaluation du modèle final.

Mise en place de la prédiction de la NBA

Correction du biais

Nous ne connaissons pas la méthode d’attribution des actions passées, donc nous ne pouvons pas utiliser de manière directe l’historique des actions et réponses associées. En effet, la quantification de l’influence d’une action sur un client suppose que toutes les caractéristiques du client soient fixées : on sépare de manière aléatoire tous nos clients en 2 (ou n) populations, et la seule variable qui change de manière certaine et déterministe est le fait de recevoir telle ou telle action (ou aucune). Dans ce cas, le caractère aléatoire de la sélection assure l’absence de biais et la relative simplicité du projet.

Dans notre cas, cela n’est pas possible ; il faut donc déterminer à quel point les 2 populations divergent (celle pour qui nous effectuons l’action A, et l’autre pour l’action B). Pour ce faire, 2 solutions :

• Examiner, variable par variable, les caractéristiques des clients qui diffèrent entre les 2 populations. Ce procédé est long, complexe, et ne prend pas en compte les interactions entre variables : si l’action A a été choisie pour les clients femmes et dépensant plus de X€ par semaine, trouver cette interaction ainsi que toutes les autres rend le processus encore plus long et complexe.
• De la même manière que dans notre tribune sur la mise en production de modèles, nous pouvons mettre en place la méthode d’adversarial validation : estimer par un modèle (gradient boosting par exemple) à quel point les 2 populations sont différentes.

Selon le résultat de la méthode employée, la correction du biais peut être effectuée selon 3 méthodes :

• La recherche de règles ayant permis la création des groupes,
• La correction Heckman,
• L’appariement par scores de propension.

À AVISIA, nous recommandons l’utilisation de la dernière approche. En quelques mots (sinon l’article deviendrait un peu long…), il s’agit de rééchantillonner les 2 groupes ayant reçu l’action A ou l’action B en fonction d’un modèle qui cherche à estimer, en fonction de caractéristiques connues (et susceptibles d’influer sur l’action choisie), la probabilité que l’entreprise affecte l’action A (ou B) au client.

Dans le cadre d’une entreprise qui veut mettre en place plus de 2 actions personnalisées, il suffit de changer le score de propension d’un modèle binaire à un modèle multi-classes.

Modèle de churn

Une fois que les différentes populations associées aux actions ont été rééquilibrées, la prochaine étape est de déterminer, pour chaque client, son risque de churn. Ce type de modèle prédictif est très couramment utilisé, et nous intervenons depuis plusieurs années au sein d’AVISIA chez nos clients pour mettre en place de type de projets.

Afin d’améliorer l’efficacité de ce projet, nous proposons chez AVISIA d’aller au-delà du score de churn et d’employer la méthode du modèle d’uplift. Il s’agit, en plus de déterminer les clients à risque de churn qu’il faut essayer de faire revenir, quels sont les clients qui sont réceptifs à une communication ou une offre de la part de l’entreprise.

Schéma explicatif de l’uplift modeling dans le cadre de l’appétence

L’uplift cherche à distinguer, parmi les clients à risque de churn, ceux pour lesquels il n’est pas utile de mettre en place une NBA (les « Lost Causes » dans le schéma), parce qu’ils réaliseront leur churn quelle que soit l’action mise en place. À l’inverse, les « Persuadables » sont intéressants car ils peuvent redevenir clients / actifs si une action est mise en place, mais sont à risque de churn si ce n’est pas le cas. Enfin, les « Sleeping Dogs » sont une population qu’il est important de surveiller, car ce sont des personnes qui sont à risque de churn uniquement quand une action personnalisée leur est proposée (réticence à la personnalisation ou aux contacts).

De manière mathématique, l’uplift se calcule comme suit :

Définition de l’uplift

Un modèle d’uplift peut être mis en place selon 2 méthodes :

1. Utilisation de seuils de risque de churn.
   Comme son nom l’indique, la probabilité d’être en churn indique la population dans laquelle est susceptible de se trouver le client : une forte probabilité de churn suggère que le client est une Cause Perdue, une faible probabilité que le client est une Valeur Sûre. Cette approche ne permet pas de distinguer les Sleeping Dogs et les Persuadables.
2. La modélisation de l’uplift, qui peut se faire de 3 façons différentes :
   1. Un seul modèle est mis en place, où le churn est la variable à prédire, et l’affectation à l’action A (variable binaire oui / non) est une variable explicative comme une autre.
      L’uplift, pour un individu, est donc la différence de prédiction par ce modèle en changeant la variable d’affectation de l’action A. De manière usuelle dans le marketing, les personnes bénéficiant de l’action A sont appelées Traitement, et ceux n’en bénéficiant pas Témoin.
   2. Un seul modèle est mis en place, mais la création de la cible intègre la notion d’action ; une nouvelle cible est créée comme suit :
      Par calcul, en supposant que les échantillons Traitement et Témoin sont équirépartis, il est possible de montrer que l’uplift est proportionnel à la probabilité de prédire cette nouvelle cible comme étant égale à 1.
   3. Deux modèles sont mis en place, un pour la population Traitement, et un autre pour la population Témoin.
      Chaque individu est scoré selon les deux modèles, et l’uplift est tout simplement la différence des probabilités prédites par ces deux modèles.

Détermination de la NBA

La meilleure action à employer pour un client s’obtient donc en estimant l’uplift associé à chaque action possible. Il est possible d’utiliser cette information en conjonction avec des règles métiers pour affiner la NBA, ainsi que des informations sur le client pour aider un conseiller clientèle à délivrer le bon discours associé.

Evaluation du modèle NBA

Avant d’être prêt pour la production et la mise en place d’A/B tests sur les actions, le modèle NBA doit être évalué sur l’historique des données. Il existe plusieurs méthodes :

• Performance de l’uplift par groupes,
• Performance de l’uplift par déciles,
• Comparaison des uplift grâce à l’historique.

Uplift par groupes

Il s’agit d’évaluer la performance du modèle pour chaque action mise en place : le niveau de churn des individus du groupe Traitement (action mise en place) est comparé au niveau de churn des individus du groupe Témoin :

1. Calculer l’uplift de l’action A comme étant la différence des taux de churn des groupes Traitement et Témoin associés.
2. Calculer la moyenne, pour tous les individus, de l’uplift de l’action A prédite par le modèle.

Les uplift réel et prédit doivent être cohérents entre eux pour les différentes actions possibles.

Uplift par déciles

Comme pour calculer un graphique de lift dans une problématique de scoring classique, les individus sont classés par déciles croissants d’uplift prédit. Dans chaque décile, nous disposons à la fois d’individus ayant churné et non churné et appartenant au groupe Traitement et Témoin. Il est donc possible d’estimer la différence des taux de churn pour les groupes Traitement et Témoin dans chaque décile, et donc l’uplift réel.

Vérification de l’uplift par la méthode de déciles

Comparaison des uplift grâce à l’historique

Pour déterminer la NBA, nous estimons l’uplift pour toutes les actions afin de déterminer la meilleure. Grâce à l’historique des actions mises en place dans l’entreprise, nous savons quelle action a été mise en place. Nous pouvons donc calculer l’uplift réel pour ces actions. Le modèle NBA est donc performant si l’uplift prédit est meilleur que l’uplift réel.

Exemple de validation par la comparaison des uplift

Perspectives

Nous avons décrit les principales étapes d’un projet complet de prédiction de la prochaine meilleure action à proposer à un client pour éviter son attrition. Les étapes décrites présentent parfois plusieurs méthodes possibles, qui possèdent chacune leurs avantages et inconvénients en termes de complexité, simplicité et performance. Dans tous les cas, même avec des méthodes simples et peu de ressources marketing, il est possible d’établir un modèle NBA. Son amélioration nécessite tout de même de maîtriser les méthodes et leur théorie sous-jacente, et donc de choisir parmi elles.