Ces chiffres ne disent pas que l’IA agentique ne fonctionne pas. Ils disent autre chose : la majorité des projets échouent avant même d’avoir eu la chance de prouver leur valeur, parce qu’ils ont sauté une étape. Celle où l’on se pose les bonnes questions avant d’écrire la moindre ligne de code ou de signer le moindre contrat avec un éditeur.
Nous accompagnons des grands groupes sur leurs projets d’agent IA, du cadrage jusqu’à la mise en production, comme chez Comutitres ou L’Oréal. Une constante ressort de ces projets, qu’ils réussissent ou qu’ils échouent : le facteur déterminant n’est presque jamais la performance du modèle. C’est la qualité des questions posées en amont.
Voici les 5 questions que nous posons systématiquement avant de lancer un projet d’agent IA, avec pour chacune la grille de critères que nous utilisons pour y répondre.
1. Le cas d’usage justifie-t-il un agent, ou une automatisation plus simple suffit-elle ?
C’est la question la plus souvent court-circuitée et c’est probablement la plus coûteuse à ignorer.
Un agent IA introduit de l’autonomie de décision, de la variabilité de comportement et un coût de supervision continue. Ces trois caractéristiques ont un prix. Si votre besoin peut être satisfait par un enchaînement de règles déterministes, de la RPA ou un simple workflow orchestré par un LLMQu'est-ce qu'un Large Language Model (LLM) ? Si vous avez testé des outils d'IA conversationnelle récemment, alors vous avez directement interagi avec ce qu'on appelle un Large Language Model. Derrière ce terme se cache une réalité technologique fascinante. Concrètement, il s'agit d'un système d'int... More avec validation humaine systématique, il faut le choisir. Ce n’est pas un aveu de faiblesse technologique. C’est une décision économique rationnelle.
Les critères pour trancher entre un agent IA ou une automatisation
- Le processus implique-t-il des décisions à embranchements multiples, en fonction du contexte, plutôt qu’une séquence fixe d’étapes ?
- Les cas rencontrés sont-ils suffisamment variés pour qu’un système de règles devienne rapidement ingérable à maintenir ?
- L’autonomie de décision crée-t-elle un gain de vitesse ou de qualité qui justifie le coût de contrôle supplémentaire qu’elle impose ?
- Avez-vous déjà testé une version plus simple (règles, RPA, workflow LLM supervisé) avant de conclure qu’elle est insuffisante ?
Si la réponse aux deux premières questions est non, arrêtez-vous là. Vous avez besoin d’une automatisation, pas d’un agent. Ce sera plus rapide à déployer, moins coûteux à exploiter et plus simple à auditer. Nous avons formalisé ce test dans notre guide de décision « Ai-je besoin d’un agent IA ? »
2. Quels gains attend-on précisément ?
« Gagner en productivité » ou « améliorer l’expérience client » ne sont pas des objectifs. Ce sont des directions. Un projet d’agent IA qui démarre sans objectif mesurable et daté ne pourra jamais démontrer son ROI, même s’il fonctionne bien techniquement.
Nous demandons systématiquement à nos clients de formuler l’objectif attendu sous une forme mesurable avant le premier atelier de cadrage : quel indicateur métier doit bouger ? De combien ? Et à quelle échéance ?
Critères pour cadrer le gain attendu
- Quel indicateur métier précis l’agent doit-il améliorer (délai de traitement, taux de résolution, coût par transaction, chiffre d’affaires additionnel, taux d’erreur) ?
- Quelle est la valeur de référence actuelle de cet indicateur, avant tout déploiement ?
- Quel est l’objectif cible et sur quel horizon temporel ?
- Ce gain est-il capturé uniquement sur le périmètre pilote ? Ou est-il réplicable sur d’autres métiers ? Ou sur d’autres marchés du groupe ?
- Qui, dans l’organisation, est responsable de mesurer cet indicateur après la mise en production et pas seulement pendant le pilote ?
C’est cette dernière question qui distingue les projets qui durent des démonstrateurs qui s’arrêtent après le comité de pilotage.
3. Les données et systèmes sont-ils suffisamment fiables ?
Un agent IA n’est fiable que si les données qu’il consomme le sont. La question est technique, mais elle n’est pas réservée à la DSI : c’est un sujet de gouvernance que la direction métier doit se poser autant que les équipes data.
Critères pour évaluer la fiabilité des données et des systèmes
- Les données nécessaires à l’agent sont-elles déjà consolidées ? Ou sont-elles dispersées dans des silos non connectés ?
- Existe-t-il une gouvernance de la donnée claire ? Qui est propriétaire de chaque donnée ? Qui garantit sa qualité ? À quelle fréquence est-elle mise à jour ?
- Les systèmes que l’agent devra interroger ou modifier disposent-ils d’API stables et documentées ? Faudra-t-il développer des connecteurs fragiles ? Ou englober des connecteurs solides ?
- Le passage du POC à la production a-t-il été anticipé dès le cadrage ? Ou le pilote a-t-il été construit sur des données d’exception soigneusement sélectionnées ?
- Que se passe-t-il si l’agent reçoit une donnée incohérente ou manquante ? Le comportement de repli est-il défini ?
Sans socle data structuré, un agent multiplie les connexions à des systèmes hétérogènes et démultiplie les risques d’erreur au lieu de les réduire. C’est ce que démontre le cas L’Oréal : la plateforme agentique repose sur un socle data mature, construit avant même le premier agent.
4. Qui valide les décisions de l’agent ? Qui est responsable en cas d’erreur ?
C’est la question la plus souvent éludée. Pourtant, c’est celle qui explique le plus grand nombre d’échecs de projets d’agents IA. Ce n’est pas la performance du modèle. C’est l’absence de décision claire sur la responsabilité.
Le zéro hallucination n’existe pas. Il faut accepter un risque résiduel maîtrisé. Pour les cas critiques, il faut revenir sur des scénarios déterministes plutôt que de tout confier à un LLM. Accepter un risque résiduel ne veut rien dire si personne n’a été désigné pour le porter.
Critères pour cadrer la gouvernance et la responsabilité
- Qui possède l’agent ? Quelle direction ? Quel rôle nommé, pas seulement « la DSI » ou « le métier » ?
- Quel niveau d’autonomie est accordé à l’agent selon le niveau de risque de la décision ? Toutes les décisions ne devraient pas être traitées avec le même degré de supervision.
- Qui valide les décisions à risque élevé et selon quel délai ?
- Existe-t-il une procédure d’arrêt immédiat de l’agent en cas de dérive détectée ?
- La conformité réglementaire (RGPDQu'est-ce que le RGPD (Règlement Général sur la Protection des Données) ? Si vous travaillez de près ou de loin avec la donnée, le sigle RGPD (Règlement Général sur la Protection des Données) fait sans doute partie de votre quotidien, parfois perçu comme une contrainte, mais de plus en plus comme u... More, IA ActQu'est-ce que l'IA Act ? Le 13 mars 2024, le Parlement européen a adopté l’IA Act (ou Règlement sur l'Intelligence Artificielle), marquant une étape historique : il s’agit du premier cadre juridique complet au monde visant à encadrer le développement, la mise sur le marché et l’utilisation des systè... More) a-t-elle été évaluée en amont du déploiement ? Et pas seulement documentée après coup ?
- Un contrôle qualité continu est-il en place pour auditer les décisions de l’agent une fois en production, de type IA as Judge ? Découvrez notre cas client FLOA Bank sur le monitoring de l’IA responsable.
Les entreprises qui ajoutent la gouvernance après coup sont celles qui doivent réintégrer, dans l’urgence, un cadre de contrôle sur un système déjà déployé. C’est précisément le rôle de l’AgentOpsQu'est-ce que l'AgentOps ? Si vous suivez un peu l'actualité de l'intelligence artificielle, vous avez probablement remarqué un changement de braquet ces derniers mois. Nous ne sommes plus limités aux simples chatbots qui attendent sagement nos prompts pour générer du texte. Aujourd'hui, la vraie te... More : cadrer cette gouvernance dès l’architecture, pas après le déploiement.
5. Comment mesurer le coût total et la valeur créée après mise en production ?
Le ROI ne se limite jamais au coût de l’inférence. C’est l’erreur de calcul la plus fréquente que nous observons dans les business cases initiaux.
Coûts à intégrer dans le calcul du TCO
- Le coût d’inférence et de licence des modèles utilisés.
- L’intégration au système d’information existant.
- La sécurisation des accès et des flux de données.
- La préparation et la certification des données consommées par l’agent.
- La supervision humaine continue et pas seulement pendant la phase de test.
- La gestion des exceptions et des cas non couverts par l’agent.
- Le coût de changement de modèle ou de fournisseur (en cas de dépendance à un acteur unique).
- La formation des équipes qui interagissent avec l’agent ou valident ses décisions.
Critères pour mesurer la valeur créée dans la durée
- La mesure du ROI est-elle prévue au-delà du pilote ? Avec un suivi récurrent après la mise en production ?
- Le calcul distingue-t-il le gain brut (temps gagné, erreurs évitées) du gain net – c’est-à-dire une fois les coûts de supervision et d’intégration déduits ?
- L’arbitrage build vs buy a-t-il été fait sciemment ? Ou par défaut, faute de temps pour l’évaluer ?
- La valeur créée sur le premier cas d’usage est-elle réplicable sur d’autres métiers ? Cela peut changer considérablement l’équation économique du projet.
Un agent qui fait gagner 100k€ de temps mais coûte 300k€ de supervision et d’intégration ne crée pas de valeur nette, même s’il est techniquement impressionnant. Nous détaillons l’architecture et la gouvernance FinOps nécessaires pour maîtriser ces coûts dans notre article sur la structuration d’une plateforme IA agentique.
La grille de décision complète avant de lancer un agent IA
Ces 5 questions ne suffisent pas à elles seules à trancher. Elles doivent être évaluées ensemble car un projet peut être solide sur un critère et fragile sur un autre : une organisation aux données parfaitement fiables peut échouer faute d’avoir désigné qui est responsable en cas d’erreur, et inversement.
C’est pourquoi nous avons structuré ces questions, ainsi que les critères qui les accompagnent, sous la forme d’une grille de décision à 5 dimensions : stratégique, organisationnelle et humaine, technique et architecture, risque et conformité, finance et performance. Chaque dimension se score indépendamment, ce qui permet d’identifier précisément où se situe la fragilité d’un projet avant de le lancer, plutôt que de la découvrir en production.
Téléchargez la grille de décision interactive complète, à dupliquer et à adapter à votre propre projet.
Ce qu’il faut retenir avant de lancer un agent IA en entreprise
Aucune de ces 5 questions n’est propre à la technologie. Ce sont avant tout des questions de gouvernance, de mesure et de responsabilité. Toute organisation devrait se les poser avant un projet de transformation, comprenant un agent IA ou non. Ce qui change avec l’IA agentique, c’est le coût de ne pas se les poser. Par exemple, un agent agissant de façon autonome dans vos systèmes amplifie les conséquences d’une question mal cadrée. Il le fait plus vite qu’une équipe humaine n’aurait pu le faire.
Les entreprises qui réussissent leurs projets d’agents IA ne sont donc pas nécessairement celles qui ont accès aux modèles les plus puissants. Ce sont celles qui ont pris le temps de répondre à ces 5 questions avant de commencer. Ce sont celles qui acceptent de renoncer à un projet, ou de le redimensionner, lorsque les réponses ne sont pas satisfaisantes.
