Data Contracts
Qu'est-ce qu'un Data Contract, et pourquoi en avez-vous besoin ?
Par Dr. Simon Harrer · · vidéo de 2:02 · 8 diapositives
En bref
Un Data Contract est une promesse écrite d'un Data Producer à ses Data Consumers. Il décrit les données et les règles que les données doivent respecter. Sans lui, un petit changement peut casser les Data Consumers, et personne ne le voit à temps.
Regarder sur YouTube
Un petit changement casse trois consumers
Une équipe produit la table orders. Un dashboard, un modèle de ML et un agent IA utilisent cette table. Le Data Producer renomme une colonne, amount devient total. Les trois Data Consumers cassent, parce que personne ne savait qu'ils utilisaient cette colonne.
Écrivez la promesse
Le Data Producer écrit la promesse dans un document. Les Data Consumers lisent le même document et s'y appuient. Ce document est un Data Contract. C'est le seul endroit où les deux parties s'accordent sur les données.
Ce que contient un Data Contract
Un Data Contract comporte huit parties. Les fundamentals donnent l'identifiant, la version et le statut. D'autres parties décrivent le schéma, les règles de qualité des données et l'équipe. Les dernières parties donnent les conditions d'utilisation, les service levels, les serveurs et le contexte destiné aux agents IA.
Un seul fichier YAML
En pratique, le Data Contract est un fichier YAML au format Open Data Contract Standard, ODCS. Les personnes peuvent lire ce fichier. Les outils aussi. Le même fichier montre le schéma, les règles de qualité et la promesse de fraîcheur.
Un standard et deux outils open source
ODCS est le standard de fait des Data Contracts. Bitol, un projet Linux Foundation, le maintient. Avec le Data Contract Editor open source, vous modifiez le fichier visuellement. La Data Contract CLI open source vérifie le fichier et teste les données dans votre pipeline CI.
Les machines vérifient la promesse
La Data Contract CLI lit le Data Contract et confronte les vraies données à celui-ci. Elle vérifie que l'identifiant de commande est présent et que les types correspondent. Elle vérifie aussi qu'aucun montant n'est négatif et que les données ont moins d'une heure.
Le test échoue en premier
Un enregistrement erroné arrive, avec un montant négatif. Le test échoue avant qu'un Data Consumer ne voie des chiffres faux. La CLI montre quel contrôle a échoué et quelle valeur est incorrecte. Le Data Producer peut corriger le problème avant qu'il ne fasse des dégâts chez les Data Consumers.
Une API pour les données
Un Data Contract est une API pour les données. Le Data Producer fait des promesses, et le Data Consumer s'appuie dessus. Le Data Contract aide à la communication, à la confiance et à la découverte, pour les personnes comme pour les agents IA.