Placez vos données sous contrat
Comment placer une table existante sous Data Contract ?
Par Dr. Simon Harrer · · vidéo de 1:56 · 8 diapositives
En bref
Importez la table existante avec la Data Contract CLI et confrontez les données au résultat. Ajoutez ensuite ce que vous seul savez. Après cela, le Data Contract est la source de vérité, et chaque changement commence dans le Data Contract.
Regarder sur YouTube
Une table sans contrat
La table orders tourne en production depuis des années. Trois équipes l'utilisent, mais elle n'a pas de Data Contract. Si vous écrivez le Data Contract à la main, vous ressaisissez chaque colonne et chaque type. Vous ferez des erreurs. Vous partez donc des données que vous avez déjà.
Importer depuis la base de données
La Data Contract CLI importe la table directement depuis la base de données. Vous lui donnez la source, la base et la table. La commande écrit un nouveau fichier de Data Contract. Vous ne saisissez pas les colonnes et les types à la main, donc le Data Contract ne contient pas de fautes de frappe.
Structure et serveurs
L'import lit les colonnes, les types, la nullabilité, les clés primaires et les commentaires. Il écrit aussi un bloc servers. Le Data Contract sait ainsi où se trouvent les données. Le statut du nouveau Data Contract est draft.
Le premier test est la référence
Vous confrontez maintenant le Data Contract aux vraies données. Tous les contrôles passent, parce que le Data Contract décrit les données telles qu'elles sont. Ce résultat est votre référence. À partir de là, chaque changement dans la base qui ne correspond pas au Data Contract fait échouer un test.
Ajoutez ce que vous seul savez
L'import ne connaît que la structure. Le sens des données et vos promesses viennent de vous. Vous ajoutez une description, une classification, une règle de qualité, une promesse de fraîcheur et un responsable. La base de données ne peut pas vous donner ces informations.
Le test trouve une anomalie
Vous relancez le test. Trois commandes ont un total négatif. Personne n'avait vu cette anomalie avant. Vous corrigez les données jusqu'à ce que tous les contrôles passent. Vous passez ensuite le statut du Data Contract à active.
Le Data Contract commande
Vous n'importez qu'une seule fois. À partir de là, le Data Contract est la source de vérité. Chaque changement commence dans le Data Contract et est testé en CI. La documentation, le DDL SQL, les modèles dbt et la fiche dans la marketplace de données en découlent.
Data-first une fois, puis contract-first
Importez ce que vous avez, testez-le et ajoutez ce que vous seul savez. Vous n'allez en data-first qu'une seule fois. Ensuite, chaque changement est contract-first. Le Data Contract guide, et la base de données suit. Le code du pipeline, la documentation et la fiche dans la marketplace de données suivent aussi le Data Contract.