Quelles sont les meilleures solutions de data management ?

À mesure que les volumes de données ont augmenté, les entreprises ont massivement investi dans les technologies de data management, dans le but d’administrer l’ensemble de leur patrimoine de données. Au départ, cette démarche répondait à un besoin réactif, guidé par la conformité, la sécurité et la gouvernance : protéger l’entreprise et ses données tout en respectant les réglementations (comme le RGPD ou l’HIPAA). Le data management était perçu comme un centre de coûts, plutôt que comme un levier de revenus.

Grâce notamment à l’essor de l’IA, la gestion des données dépasse aujourd’hui le seul cadre de la conformité. Les entreprises souhaitent s’assurer que leurs données créent de la valeur grâce à un partage et une consommation plus larges et sécurisés à l’échelle de l’organisation. Cela nécessite une mise à jour du stack technologique data, centré sur la gestion, la consommation et la collaboration, en complément de la gouvernance et de la sécurité.

Il existe de nombreux outils couvrant plusieurs disciplines en matière de data management. Lesquels les organisations devraient-elles déployer, et comment vont-elles générer du ROI et soutenir les objectifs métiers ? Découvrez les principaux types d’outils nécessaires à la construction d’une stack data efficace au sein de votre organisation.

Pour gérer les données, les entreprises doivent évoluer dans un environnement de plus en plus complexe. Les données sont générées en continu par les systèmes métiers et les capteurs IoT, collectées ou achetées auprès de tiers. Elles sont stockées dans des solutions cloud comme Amazon Web Services ou Google Cloud, localement dans des data warehouses, des data lakes ou des data lakehouses, ou encore dans des outils métiers tels que Google Drive ou Microsoft SharePoint.

Ces données brutes n’ont aucune valeur sous leur forme initiale. Elles doivent être traitées, certifiées, vérifiées et enrichies pour être compréhensibles et exploitables dans des domaines tels que l’analytique, les projets d’IA, le reporting opérationnel, la conformité réglementaire et la prise de décision transversale. Il est essentiel que les données soient accessibles à tous les types d’utilisateurs au sein de l’entreprise, y compris à ceux sans compétences techniques.

Gérer avec succès cette complexité des données nécessite des choix d’architecture qui équilibrent centralisation et fédération, par exemple l’approche data fabric, data mesh ou des modèles hybrides.

Face à la diversité des outils et solutions disponibles, où les entreprises devraient-elles investir pour maximiser la valeur et le ROI ? Comme le montre le schéma, cinq couches clés sont à privilégier pour construire un data stack moderne performant.

L’ingestion des données est le socle de la stack data. Elle couvre le processus de collecte, d’importation et de déplacement des données brutes depuis diverses sources vers une destination centralisée, afin qu’elles puissent être traitées, cataloguées, enrichies et finalement utilisées. Les données peuvent être déplacées en temps réel ou par traitement par lots, avec une gamme d’outils différents selon la source et la destination finale.

Plusieurs solutions permettent l’ingestion et l’intégration des données, par exemple :

• Fivetran, 
• Apache Kafka, 
• AWS Glue 
• Google Cloud Dataflow.

Les outils d’intégration de données, comme Talend, déplacent et transforment les données entre sources et destinations, en utilisant des techniques telles que l’ETL (Extract, Transform, Load) pour créer cohérence et formats communs entre différents systèmes. Ils permettent la création de pipelines de données automatisés qui garantissent que les données sont intégrées, vérifiées et fiables à l’échelle de l’entreprise.

Déplacer ou dupliquer des données peut s’avérer difficile ou inefficace. Les règles de conformité peuvent rendre difficile la centralisation de certains jeux de données dans une autre solution, tandis que la duplication augmente les coûts de stockage et de gestion, et peut nuire à l’existence d’une version unique de la vérité. 

La virtualisation des données vise à surmonter ces défis en rendant les données disponibles de manière sécurisée là où elles sont nécessaires, tout en garantissant flexibilité et contrôle. Denodo est un acteur majeur de la virtualisation des données, s’intégrant avec des solutions de consommation comme Huwise pour favoriser un partage efficace des données.

En centralisant les données et en brisant les silos, les entreprises peuvent mieux gérer, interroger et analyser leurs informations. Quatre principaux types d’outils assurent cette centralisation et cette version unique de la vérité :

• Data warehouse : un référentiel central unique et de grande taille pour le stockage, l’analyse et le reporting de données structurées ou semi-structurées.
• Data mart : un sous-ensemble plus restreint d’un entrepôt de données, contenant moins de données, ce qui rend l’analyse et le traitement plus rapides.
• Data lake : un référentiel centralisé à grande échelle qui stocke et traite des données structurées, semi-structurées et non structurées dans leur format brut.
• Data lakehouse : une approche hybride combinant la capacité à utiliser des analyses structurées (comme dans un entrepôt de données) avec la possibilité de stocker des données sous leur forme brute (comme dans un data lake).

La principale différence entre un data warehouse et un data lake réside dans la façon dont les données sont stockées et ce que cela implique pour leur utilisation. Un data warehouse contient des données structurées, nettoyées et normalisées pour s’adapter à des modèles ou cas d’usage spécifiques. Un data lake, en revanche, contient des données brutes, accessibles pour une variété d’usages immédiats ou futurs, plutôt que pour des usages prédéfinis.

Des plateformes comme Databricks et Snowflake offrent un référentiel centralisé qui rassemble les données et les met à disposition des analystes techniques.

S’assurer que les données sont fiables, précises et de haute qualité est indispensable pour les analyser et les consommer avec succès. Sans processus de qualité, les données peuvent être incomplètes, floues ou incohérentes, ce qui empêche leur utilisation.

Les données de référence (master data) sont des données non transactionnelles qui fournissent du contexte en décrivant les données transactionnelles et en facilitant leur catégorisation, compréhension et gestion. 

Les solutions MDM couvrent la manière dont ces données de référence sont créées, partagées, mises à jour et utilisées. En définissant et en appliquant des définitions cohérentes et uniformes à l’échelle de l’organisation, les solutions MDM garantissent l’exactitude et la fiabilité des données. Informatica est l’un des principaux éditeurs dans ce domaine.

La qualité des données mesure l’état des données selon des critères tels que l’exactitude, la complétude, la fraîcheur, la cohérence et la fiabilité. Les outils de qualité des données, comme Talend, permettent de profiler, valider et nettoyer les données afin qu’elles répondent aux standards de qualité définis, les rendant ainsi utilisables et dignes de confiance. Les outils d’observabilité vont plus loin en surveillant en continu le patrimoine de données pour détecter les risques avant qu’ils n’entraînent des défaillances. Sifflet et Informatica proposent tous deux des outils d’observabilité performants.

Assurer la protection et la conformité des données est un élément central du rôle du CDO. La gouvernance des données est au cœur de cette mission : elle définit comment identifier, organiser, traiter, gérer et utiliser les données collectées dans l’organisation. Elle englobe des processus, des référentiels et la technologie nécessaire pour gérer et faire respecter les règles de gouvernance en permanence. 

Une gouvernance efficace des données réduit les risques et favorise l’agilité, l’innovation et une consommation accrue, en garantissant que les données sont fiables, tant pour les humains que pour l’IA. Atlan est un acteur de référence dans ce domaine, dont la technologie de catalogue de données moderne a évolué de la gestion de la gouvernance vers la fourniture d’une couche de contexte pour l’IA. Huwise est un partenaire Atlan Context Layer, aidant les organisations à rendre leur couche de contexte complète.

L’un des fondements d’une gouvernance efficace des données est de savoir précisément quelles données l’organisation possède, où elles se trouvent et comment elles sont utilisées. Les catalogues de données fournissent un inventaire technique de toutes les données basé sur des métadonnées structurées, garantissant conformité et contrôle. 

Cependant, les catalogues de données jouent essentiellement le rôle d’un index, ils ne permettent pas aux utilisateurs d’accéder directement aux données. De plus, ce sont des outils techniques dont les interfaces sont conçues pour les équipes data et IT, et non pour les utilisateurs métiers, ce qui limite leur adoption. Ces deux facteurs font que des catalogues de données comme Collibra ne stimulent pas la consommation des données à l’échelle de l’entreprise, limitant ainsi l’impact business et la valeur des données.

Les outils d’analytique et de business intelligence permettent aux analystes de données formés d’interroger les données, généralement dans le data warehouse ou le data lake, afin de produire des rapports et des tableaux de bord à usage métier. Des outils comme Tableau et Microsoft Power BI fournissent des insights, mais ne peuvent être utilisés que par des personnes disposant de compétences techniques spécialisées. Ils sont trop complexes pour que les utilisateurs métiers en bénéficient directement : ces derniers doivent s’appuyer sur des équipes techniques pour lancer des requêtes en leur nom. Cela ralentit la disponibilité des insights, alourdit la charge de travail des équipes data et empêche les utilisateurs métiers d’interagir directement avec les données.

Les data product marketplaces offrent une couche de consommation centralisée, fluide et en libre-service pour tous les utilisateurs métiers et l’IA. Une expérience inspirée du e-commerce, avec des fonctionnalités telles que la recherche pilotée par l’IA, les recommandations et les évaluations, aide les collaborateurs non techniques à découvrir et consommer les data products dont ils ont besoin au quotidien.

Contrairement à un data catalog, les données sont immédiatement accessibles aux utilisateurs depuis la marketplace, avec une gestion granulaire des accès garantissant sécurité et conformité. Un glossaire métier assure la cohérence des termes à travers les données, renforçant la confiance, tandis que la data lineage offre un suivi de bout en bout de l’utilisation des données par les humains et l’IA.

En résumé, la data product marketplace complète le data stack, rendant des données curées, de haute qualité et bien gouvernées accessibles à tous, sans nécessiter le support des équipes data ou IT.

Évaluée comme « essentielle » par Gartner, la data marketplace transforme les données en actif stratégique central, stimule la consommation à grande échelle, soutient des cas d’usage IA efficaces et conformes, et maximise le ROI des investissements en données. Huwise a été cité à plusieurs reprises par Gartner comme une solution de référence sur le marché des data marketplaces.

La complexité des data stacks a alourdi la charge de travail des équipes data, qui doivent intégrer et gérer de multiples solutions qui se recoupent. Cela augmente les coûts et peut réduire la flexibilité et l’agilité, notamment en ce qui concerne la mise à disposition rapide de données fiables et compréhensibles pour les utilisateurs métiers et l’IA.

Pour surmonter ce problème, des plateformes de gestion des données convergentes (DMP) émergent désormais, évoluant de solutions ponctuelles vers une couverture de plusieurs couches du data stack. Elles offrent de multiples capacités, de la cohérence et de la scalabilité à l’échelle de l’organisation. 

Cela réduit les coûts tout en simplifiant la gestion et la supervision, en améliorant l’agilité et la gouvernance, et en accélérant la fourniture de données prêtes pour l’IA. Gartner estime que les DMP peuvent réduire les dépenses de 50 %, libérant ainsi des ressources pour des investissements plus stratégiques et à fort impact. Cependant, bien que les DMP rationalisent une grande partie du stack, ils ne fournissent pas des capacités best-of-breed dans tous les domaines. Gartner recommande donc de les compléter avec des data marketplaces pour offrir des capacités efficaces de partage et de consommation des données.

Precisely est un acteur solide proposant une DMP, et grâce à son partenariat avec Huwise, est en mesure d’intégrer une data product marketplace à sa solution, maximisant la valeur tout en minimisant la complexité.

Les organisations comprennent qu’elles doivent construire une stack data orientée vers la consommation et la création de valeur pour l’entreprise, plutôt que vers la seule gestion des données. Cela nécessite un ensemble d’outils interopérables capables de s’intégrer les uns aux autres de manière fluide, tout en soutenant des capacités transversales telles que la qualité, la lineage, la gouvernance et désormais le contexte et la sémantique.

Pourtant, les organisations ont traditionnellement eu du mal à stimuler la découverte et l’utilisation des données par les équipes métiers. Il est donc essentiel que les CDOs complètent leur architecture de gestion des données en ajoutant une couche de consommation offrant un accès sécurisé et en libre-service aux données pour les équipes métiers et l’IA : la data marketplace. Celle-ci transforme les données en valeur et génère du ROI sur les investissements en gestion des données, pérennise les opérations et maximise l’impact.