Data Contracts und Datenqualität
Wie definierst, testest und misst du Datenqualität?
Von Dr. Simon Harrer · · Video 2:56 · 7 Folien
Kurz gesagt
Schreib die Qualitätsregeln und die Service Levels in den Data Contract. Die Data Contract CLI testet sie automatisch. Ein Quality Score für jede Dimension zeigt, wo du die Daten verbessern musst.
Auf YouTube ansehen
Niemand hat es aufgeschrieben
Das Umsatz-Dashboard zeigt, dass sich der Umsatz über Nacht verdoppelt hat. Die Ursache sind doppelte Zeilen in der orders-Tabelle. Niemand hatte aufgeschrieben, dass jede Order-ID eindeutig sein muss, also hat es niemand geprüft. Datenqualität beginnt damit, dass du aufschreibst, was gute Daten bedeutet.
Fang in Klartext an
Das Business und die Data Consumers schreiben die Regeln in Klartext auf. Dann wandelt ein Data Engineer die Regeln in SQL oder in Library-Metriken um, mit Hilfe von KI. Manche Regeln bleiben Text, weil du sie nicht automatisieren kannst oder der Aufwand zu groß ist.
Qualitätsregeln im Data Contract
Die Qualitätsregeln gehen in das Schema des Data Contracts, neben die Spalten, die sie prüfen. Library-Metriken decken die einfachen Checks ab, zum Beispiel Null-Werte, Dubletten und Zeilenanzahl. SQL deckt alle anderen Checks ab. Jede Regel nennt außerdem ihre Qualitätsdimension.
Service Levels im Data Contract
Der Data Contract enthält außerdem Service Levels. Freshness sagt, dass die neueste Bestellung weniger als 24 Stunden alt ist. Retention sagt, dass keine Bestellung länger als ein Jahr bleibt. Beide Service Levels nutzen den Zeitstempel der Bestellung.
Automatisch getestet
Die Data Contract CLI testet die echte Tabelle gegen jede Regel. Hier sind alle anderen Checks grün, aber Freshness schlägt fehl, weil die neueste Bestellung 31 Stunden alt ist. Führe die Tests in der CI bei jeder Änderung und nach Zeitplan in Produktion aus. Mit der publish-Option gehen die Ergebnisse in den Datenmarktplatz.
Sieben Qualitätsdimensionen
ODCS hat sieben Qualitätsdimensionen: accuracy, completeness, conformity, consistency, coverage, timeliness und uniqueness. Versieh jede Regel mit einer Dimension. Dann kannst du die Ergebnisse über alle Data Contracts vergleichen. Jede Dimension zeigt eine andere Art von Problem.
Quality Score nach Dimension
Der Datenmarktplatz rechnet die Ergebnisse in einen Quality Score von 0 bis 100 um. Der Score für jede Dimension zeigt, wo die Qualität niedrig ist. Du siehst den Score für einen Data Contract, ein Datenprodukt, ein Team, eine Domäne und die Organisation. Niedrige Werte zeigen, wo du investieren musst.