Data Contracts et qualité des données
Comment définir, tester et mesurer la qualité des données ?
Par Dr. Simon Harrer · · vidéo de 2:56 · 7 diapositives
En bref
Écrivez les règles de qualité et les service levels dans le Data Contract. La Data Contract CLI les teste automatiquement. Un score de qualité par dimension montre où vous devez améliorer les données.
Regarder sur YouTube
Personne ne l'avait écrit
Le dashboard du chiffre d'affaires montre que le chiffre d'affaires a doublé du jour au lendemain. La cause : des lignes en double dans la table orders. Personne n'avait écrit que chaque identifiant de commande doit être unique, donc personne ne le vérifiait. La qualité des données commence quand vous écrivez ce que de bonnes données veulent dire.
Commencez en langage clair
Le métier et les Data Consumers écrivent les règles en langage clair. Un Data Engineer convertit ensuite les règles en SQL ou en métriques de bibliothèque, avec l'aide de l'IA. Certaines règles restent du texte, parce qu'on ne peut pas les automatiser ou que l'effort est trop grand.
Les règles de qualité dans le Data Contract
Les règles de qualité vont dans le schéma du Data Contract, à côté des colonnes qu'elles contrôlent. Les métriques de bibliothèque couvrent les contrôles de base, par exemple les valeurs nulles, les doublons et le nombre de lignes. SQL couvre tous les autres contrôles. Chaque règle nomme aussi sa dimension de qualité.
Les service levels dans le Data Contract
Le Data Contract contient aussi des service levels. La fraîcheur dit que la commande la plus récente a moins de 24 heures. La rétention dit qu'aucune commande ne reste plus d'un an. Les deux service levels utilisent l'horodatage de la commande.
Testé automatiquement
La Data Contract CLI confronte la vraie table à chaque règle. Ici, tous les autres contrôles passent, mais la fraîcheur échoue, parce que la commande la plus récente a 31 heures. Lancez les tests en CI à chaque changement et selon un planning en production. Avec l'option publish, les résultats partent vers la marketplace de données.
Sept dimensions de qualité
ODCS a sept dimensions de qualité : accuracy, completeness, conformity, consistency, coverage, timeliness et uniqueness. Étiquetez chaque règle avec une dimension. Vous pouvez alors comparer les résultats entre tous les Data Contracts. Chaque dimension révèle un type de problème différent.
Un score de qualité par dimension
La marketplace de données transforme les résultats en un score de qualité de 0 à 100. Le score de chaque dimension montre où la qualité est basse. Vous voyez le score d'un Data Contract, d'un produit de données, d'une équipe, d'un domaine et de l'organisation. Les valeurs basses montrent où vous devez investir.