Quelles sont les tendances Data & IA 2024 ?

L’année 2023 est maintenant derrière nous et nous pouvons dire que cette année fut un tournant sur la thématique de la Generative IA … mais pas que !

En effet, même si la Generative IA a été popularisée par l’avènement de Open AI et de son outil ChatGPT, cela a surtout permis de faire prendre conscience et challenger les entreprises souhaitant l’utiliser sur les compétences et l’organisation nécessaires à cela.

C’est ce que nous vous proposons de détailler et qui, selon nous, seront les grands axes de travail et tendances 2024 au sein des entreprises « data centric ».

Au menu : Data Product Management, Analytics Engineering, Déploiement de LLM spécialisés & CSRD.

Data Product Management

Dans la révolution de l’Intelligence Artificielle que nous venons de vivre en 2023, le Product Management est l’un des principaux facteurs clés de ce succès.

Mais cette pierre angulaire au succès d’Open AI n’a pas été valorisée à sa juste valeur.

Alors que pourtant la décennie de recherche et de développements complexes réalisés par Open AI ont été mis à disposition du grand public au travers du produit tout simple : un agent conversationnel (ou Chatbot).

Ainsi une grande partie de la réussite de Open AI tient dans leur capacité à avoir géré l’ensemble du cycle de vie d’un produit, qu’ils ont mis entre les mains des utilisateurs, de façon simple, et contenant tout leur savoir-faire. Cela leur a permis d’atteindre le millions d’utilisateurs en un temps record (5 jours). Ils ont ensuite su faire évoluer leur produit et lui ajouter des fonctionnalités supplémentaires.

Tout cela résume la notion de Product Management.

C’est cette notion qui, dans les équipes Data, se popularise en même temps que le concept de Data Mesh qui prône la gestion de la donnée comme un “Produit”.

Le Data Product Management est donc une déclinaison du product management aux enjeux data, et tente ainsi de mettre les mains des consommateurs de données des produits simples et adaptés à leurs besoins / enjeux.

Pour cela, il faut réussir à faire travailler en étroite collaboration équipes techniques et parties prenantes consommatrices de données pour comprendre leurs besoins et traduire ces exigences en fonctionnalités concrètes. C’est le rôle qui est confié au “Product Owner Data” et qui se traduit par :

• Définir la vision et la stratégie des produits basés sur les données,
• Accompagner la vie du produit depuis l’idéation jusqu’au lancement et au-delà,
• Animer les ateliers avec des utilisateurs finaux afin de comprendre précisément leurs besoins,
• Gérer et alimenter un backlog priorisé, écrire les user stories et les critères d’acceptance,
• Assurer la qualité et la pertinence des données utilisées,
• Recetter, livrer et promouvoir nos produits basés sur les données pour favoriser l’adoption,
• Mesurer la performance des produits livrés et itérer.

C’est un rôle qui, pour nous, est clef et sera à n’en pas douter un hot topic que toutes les organisations “data centric” mettront en place ou renforceront sur 2024 pour tirer leur épingle du jeu.

Analytics Engineering

Conséquence directe des éléments que nous venons de parcourir, la qualité et la pertinence des données mises à disposition au sein des produits sera encore plus déterminante que précédemment.

Il ne sera donc pas possible d’attendre des équipes IT et des data engineers de mettre à disposition toujours plus de pipeline de données pour répondre à l’ensemble des besoins / enjeux des consommateurs de données et avec des time-to-market toujours plus réduits.

Les équipes centrales vont donc devoir travailler en partenariat avec les entités consommatrices de données.

Il sera donc nécessaire de disposer de profils qui combinent des compétences techniques de traitement et manipulation de données avec des compétences business sur un domaine précis (Ex : CRM, Finance, Supply, … etc.)

C’est précisément le rôle qui est confié à un “Analytics Engineer” et qui se traduit par :

• Participer à l’identification / investigation des données sources et à la mise en place des outils / connecteur d’alimentation (ETL / ELT),
• Être responsable de la structuration du modèle de données ainsi que de la transformation des données sources en indicateurs clés de performance (KPI),
• Utiliser des techniques de monitoring et des outils d’analyse / dataviz pour répondre aux besoins des équipes métiers.
• Industrialiser et généraliser les analyses nécessaires.

C’est un rôle qui, à mi chemin entre data analyst et data engineer, sera également un hot topic et offrira des belles perspectives d’évolution pour de nombreux profils hybrides.

Spécialisation et Généralisation des LLM

ChatGPT et la popularisation de l’IA Générative a marqué 2023 de son empreinte, c’est indéniable. Et particulièrement pour 3 grands types d’usages :

• Intelligence Documentaire : c’est-à-dire la capacité à extraire, résumer, analyser ou encore traduire du texte,
• Interaction Augmentée : c’est-à-dire la capacité à assister (via des bots) ou automatiser des processus,
• Création de contenus : c’est-à-dire la capacité à inspirer, générer des contenus ou encore optimiser des codes.

Mais une fois l’effet “waouh” passé … les limites de ce type d’outils apparaissent très vite car ils restent très “généralistes” et basés sur des ressources web génériques.

Vous aurez le choix entre attendre que ces modèles spécialisés soient mis à votre disposition, comme par exemple sous forme de “GPTs” chez Open AI. Ou alors peut-être que vous opterez pour produire vous même ces modèles spécialisés :

• Compilation de bases documentaires sources et création d’embedding spécifiques (représentation des mots ou phrases d’un texte par des vecteurs de nombres réels, décrits dans un modèle vectoriel)
• Ingestion de ces éléments :
  • soit comme un contexte via du prompt engineering au sein de modèle généraliste pour y intégrer vos spécificités,
  • soit comme base d’entraînement à un modèle LLM entraîné et hébergé au sein de vos propres infrastructures (Ex : Google Cloud Platform)
• Intégration au sein d’un produit fini et mise à disposition des utilisateurs finaux.

L’orientation de vos choix se fera très certainement par la gestion de vos coûts et votre stratégie de dépendance (ou plutôt indépendance face aux éventuelles pannes des fournisseurs de LLM).

La mise en application de l’IA Act aura également des répercussions sur ces choix et les modalités nécessaires pour parvenir aux déploiements de vos projets.

En 2024, les entreprises qui réussiront à identifier des cas d’usages à valeur business et à les déployer en production seront celles qui sur-performeront dans leur secteur.

D’ailleurs le paragraphe suivant donne un petit indice sur un exemple de sujet qui pourrait faire la différence …

CSRD (Corporate Sustainability Reporting Directive)

C’est très certainement le hot topic qui vous étonnera le plus en lisant cet article…mais c’est sûrement celui qui touchera le plus d’entre vous.

Il s’agit d’une directive européenne exigeant aux entreprises une publication d’informations non financières au sujet de leur engagement pour le développement durable et de leur démarche RSE. Cette directive, votée en 2022 et dont les modalités seront précisées sur 2024, s’appliquera progressivement de 2025 à 2029 (sous peine d’amende sinon).

L’objectif est simple : accorder autant d’importance au bilan environnemental et éthique qu’au bilan financier.

Pour y parvenir, des normes communes vont être mises en place afin de permettre aux entreprises de communiquer de manière plus claire et mesurable au sujet de l’impact de leurs activités sur l’environnement, les droits humains, l’éthique et les normes sociales au travail.

Ces nouvelles informations  à communiquer représentent, à date, plus de 1000 données à fournir (narratives et chiffrées) que l’on peut retrouver en Annexe 1 des textes en cours. Il est donc primordial d’identifier, recueillir et compiler de façon proactive les éléments de réponse à ces exigences.

Peut-être que vous ne voyez toujours pas ce que ce hot topic vient faire ici dans les tendances 2024 d’un acteur comme nous spécialisé en Data & IA ?

Ce n’est pas juste parce que nous avons la conviction que la donnée a une place importante à jouer dans les enjeux de transition durable et que nous œuvrons déjà sur ce projets via notre label “Data for Impact”

C’est parce que nous avons la conviction que les projets et le travail pour répondre aux exigences de la directive vont être soutenus par l’IA Générative.

En effet, nous avons vu que cette approche était particulièrement efficace dans l’intelligence documentaire, l’interaction augmentée et la génération de contenu. Et c’est une bonne partie des compétences qu’il faudra mobiliser pour emmagasiner les informations disponibles dans chaque entreprise et les restituer de façon synthétique et précise face à chaque exigence de la directive.

Si vous avez une sensibilité à la transformation durable, et que vous avez toujours rêvé de mettre à disposition vos compétences en Data & IA au service de ces enjeux, alors 2024 sera une belle année pour sauter le pas.

Conclusion

Des nouvelles compétences, des impacts sur les organisations, et des avancées technologiques, nous avons ainsi le parfait cocktail pour animer les débats et les projets dans de nombreux secteurs d’activités.

2024 sera donc une année captivante pour notre écosystème et qui, selon nous, nécessitera une transformation profonde et capacité d’adaptation comme rarement notre génération a eu à le vivre jusqu’à présent.