Assurer la qualité des données : indicateurs clés et comparaison des meilleurs outils

1. Introduction

Assurer une haute qualité des données est essentiel pour les organisations cherchant à générer de la valeur commerciale grâce à l’analyse et à l’apprentissage automatique. Une mauvaise qualité des données, due à des incohérences, des inexactitudes ou des informations manquantes, peut compromettre la prise de décision stratégique et l’efficacité des produits basés sur les données. Lorsque les entreprises ne peuvent pas faire confiance à leurs données, elles ont du mal à faire confiance aux insights qu’elles produisent. Comme le dit l’adage, "pas de données vaut mieux que des mauvaises données". Cela souligne le rôle crucial de la qualité des données en tant que pilier de la gouvernance des données, garantissant la fiabilité, la conformité et le succès global de l’entreprise.

2. Qualité des données dans le pipeline de données

a. Gestion du cycle de vie des données

Lors de la construction d’une plateforme de données, il est crucial de considérer six couches fondamentales et interconnectées :

• Ingestion des données : collecte des données structurées et non structurées provenant de diverses sources, en utilisant des méthodes ETL (extraction - transformation - chargement) ou ELT (extraction - chargement - transformation). Les outils modernes permettent le chargement de données brutes dans des data lakes avant transformation.

• Stockage et traitement des données : stocke et traite les données ingérées à l’aide d’entrepôts de données, de lacs de données ou de lakehouses.

• Transformation et modélisation des données : prépare les données brutes pour l’analyse et définit les relations entre les entités de données. Cette étape inclut l’analyse exploratoire et le mapping.

• Business Intelligence et analytique : rend les données traitées accessibles via des tableaux de bord et des visualisations, permettant une prise de décision et une data storytelling basées sur les données.

• Gouvernance et observabilité des données : gère le contrôle d’accès, la qualité des données et surveille l’état des données en utilisant des pratiques DevOps comme le suivi automatisé, les alertes et la traçabilité.

À mesure que les architectures évoluent pour supporter des cas d’utilisation plus avancés, des couches supplémentaires peuvent être introduites en fonction des besoins spécifiques de l’équipe de données.

b. Dimensions de la qualité des données

Dimensions

Différents indicateurs définissent les dimensions de la qualité des données, servant de fondement aux approches modernes de la gestion de la qualité. Ces dimensions garantissent l’intégrité et la fiabilité des données dans les processus organisationnels. Les six dimensions clés de la qualité des données sont : l’exhaustivité, la ponctualité, la validité, l’exactitude, la cohérence et l’unicité.

• Exhaustivité : à quel point les données sont-elles complètes ? Cette mesure fondamentale aide à identifier les valeurs manquantes, déterminant dans quelle mesure les données sont entièrement remplies.
• Ponctualité : les données sont-elles arrivées comme prévu ? S’assurer que les données sont à jour est crucial pour une prise de décision précise et pertinente.
• Validité : les données respectent-elles les normes de syntaxe requises (format, type ou plage) ? Cette dimension définit la structure attendue des valeurs de données.
• Exactitude : les données représentent-elles correctement l’entité ou le scénario du monde réel qu’elles décrivent ? Une valeur est considérée comme exacte si elle répond aux attentes de format et de signification contextuelle.
• Cohérence : les données sont-elles uniformes à travers différentes sources ? Cette dimension garantit que les données restent alignées avec des définitions bien établies et ne se contredisent pas.
• Unicité : y a-t-il des enregistrements en double du même point de données ? Les données doivent être distinctes et exemptes de redondance pour maintenir leur intégrité.

En privilégiant ces dimensions, les organisations peuvent améliorer la qualité, la fiabilité et l’efficacité de leurs stratégies de gestion des données.

Workflow

Les problèmes de qualité des données doivent être priorisés en fonction de facteurs tels que l’impact sur les affaires et la complexité. Cette approche permet une résolution plus efficace des problèmes identifiés. Une approche bien établie pour améliorer la qualité des données est un cycle d’amélioration.

Le processus d’amélioration de la qualité des données commence par la définition claire de la portée du projet afin d’établir des objectifs et de se concentrer sur la surveillance continue et l’amélioration de la qualité de celles-ci. Ce workflow se compose de cinq phases séquentielles : définition, mesure, analyse, amélioration et contrôle, comme illustré dans la figure 1.

Figure 1 : Flux de travail de la qualité des données

Définition : Définir la portée du projet en sélectionnant les ensembles de données pertinents et en déterminant les attributs nécessaires.

Mesure : Exprimer les dimensions de la qualité des données en termes mesurables et évaluer les erreurs. Utiliser des métriques pour communiquer l’état de la qualité des données et suivre les améliorations.

Analyse : Identifier les causes profondes des inexactitudes des données par le regroupement des erreurs et l’analyse des événements. Évaluer les problèmes systémiques dans la saisie et le traitement des données.

Amélioration : Développer et mettre en œuvre des solutions pour traiter les causes profondes, telles que des règles de validation et la réingénierie des processus.

Contrôle : Surveiller et valider l’efficacité des solutions mises en œuvre à l’aide de graphiques de contrôle et de règles métier. Assurer une amélioration continue en réévaluant systématiquement la qualité des données.

3. Outils et piles technologiques

a. Analyse comparative

Plusieurs outils sont disponibles pour garantir la qualité des données dans les piles de données modernes. Voici une brève analyse comparative de quelques acteurs clés :

• Soda : fort accent sur l’observabilité des données, avec intégration API pour des outils comme Grafana. Idéal pour la surveillance en temps réel et les alertes.
• Monte Carlo : met l’accent sur l’observabilité des données et la gestion des incidents. Excellent pour les environnements de données à grande échelle et l’analyse des causes profondes.
• Great Expectations : se concentre sur les tests et la validation des données. Offre de solides capacités de profilage et de documentation des données.
• dbt : principalement un outil de transformation, mais inclut des fonctionnalités de test dans son flux de travail, permettant la gouvernance des données.

b. Intégration de la qualité dans un pipeline de données

L’intégration de la qualité dans un pipeline de données est cruciale pour garantir des produits de données fiables. Voici comment ces outils peuvent être intégrés :

Où placer les vérifications de qualité des données :

• Lors de ou après l’ingestion : valider le schéma des données, vérifier la complétude et les types de données de base.

• Après la transformation : vérifier l’exactitude et la cohérence des données, et effectuer des validations plus complexes à l’aide d’outils comme dbt ou Great Expectations.

• Avant le chargement final (data marts / entrepôt de données) : validation finale pour s’assurer que les données sont prêtes à être consommées par les outils BI ou les applications, souvent en utilisant des outils comme Soda ou Monte Carlo pour des vérifications en temps réel.

Intégration avec les orchestrateurs : les outils comme Soda, Great Expectations et dbt peuvent être facilement intégrés avec des orchestrateurs. Cela permet d’automatiser les vérifications de qualité des données dans le flux du pipeline. Par exemple, les tests dbt peuvent faire partie d’un job dbt dans Airflow, et les vérifications Soda peuvent être déclenchées en tant que tâche dans un DAG Airflow.

Automatisation et surveillance : Automatiser les vérifications de qualité des données et surveiller en continu leur état. Les outils peuvent être utilisés pour intégrer les métriques de qualité des données avec des systèmes de surveillance comme Grafana, permettant leur observabilité complète. Cela peut générer des alertes et fournir des vues de tableau de bord pour la surveillance.

Exemple de Workflow : Dans un pipeline typique :

Figure 2 : Pipeline de données avec composants de qualité

Cette intégration garantit que la qualité des données est maintenue tout au long du pipeline et que tout problème est détecté et traité rapidement.

4. Conclusion

Les flux de données fiables et les produits qu’ils permettent sont cruciaux pour garantir que les utilisateurs font confiance aux applications pour délivrer de la valeur. Construire des données fiables est un effort à long terme qui s’étend sur plusieurs étapes du pipeline de données. De plus, l’amélioration de la qualité des données n’est pas seulement un défi technique, mais aussi un engagement organisationnel et culturel.

5. Références

• https://www.montecarlodata.com/wp-content/uploads/2021/10/OReilly-Data-Quality-Fundamentals-early-release.pdf
• https://documentserver.uhasselt.be/bitstream/1942/28871/1/Data-quality-management.pdf
• https://www.ovaledge.com/blog/best-practices-for-improving-data-quality
• https://www.researchgate.net/publication/358586657_Data_Quality_-_Concepts_and_Problems
• https://www.researchgate.net/publication/356529048_DATA_QUALITY_DIMENSIONS_METRICS_AND_IMPROVEMENT_TECHNIQUES
• https://medium.com/@datainsights17/data-quality-in-data-engineering-68d4469f1b30
• https://docs.soda.io/api-docs/public-api-to-grafana.html
• BrainAI Icon by Iconfromus https://www.freepik.com/icon/artificial-intelligence_11103366#fromView=search&page=1&position=86&uuid=2164b08c-ac13-449e-a108-fdc050f80bee
• https://www.montecarlodata.com/blog-measuring-data-quality-key-metrics-processes-and-best-practices
• https://www.databricks.com/blog/2022/08/03/monte-carlo-and-databricks-partner-to-help-companies-build-more-reliable-data-lakehouses.html
• https://docs.soda.io/soda-cloud/collaborate.html
• https://www.startdataengineering.com/post/implement_data_quality_with_great_expectations/