Data Contracts y calidad de datos
¿Cómo defines, pruebas y mides la calidad de los datos?
Por Dr. Simon Harrer · · video de 2:56 · 7 diapositivas
En resumen
Escribe las reglas de calidad y los service levels en el Data Contract. La Data Contract CLI los prueba de forma automática. Una puntuación de calidad por dimensión muestra dónde tienes que mejorar los datos.
Ver en YouTube
Nadie lo había escrito
El dashboard de ingresos muestra que los ingresos se han duplicado de la noche a la mañana. La causa son filas duplicadas en la tabla orders. Nadie había escrito que cada ID de pedido debe ser único, así que nadie lo comprobaba. La calidad de datos empieza cuando escribes qué significan unos datos buenos.
Empieza en lenguaje claro
El negocio y los Data Consumers escriben las reglas en lenguaje claro. Después, un Data Engineer convierte las reglas en SQL o en métricas de biblioteca, con ayuda de la IA. Algunas reglas se quedan como texto, porque no se pueden automatizar o el esfuerzo es demasiado grande.
Reglas de calidad en el Data Contract
Las reglas de calidad van en el esquema del Data Contract, junto a las columnas que comprueban. Las métricas de biblioteca cubren las comprobaciones básicas, por ejemplo valores nulos, duplicados y número de filas. SQL cubre todas las demás. Cada regla indica además su dimensión de calidad.
Service levels en el Data Contract
El Data Contract contiene además service levels. La frescura dice que el pedido más reciente tiene menos de 24 horas. La retención dice que ningún pedido se queda más de un año. Los dos service levels usan la marca de tiempo del pedido.
Probado de forma automática
La Data Contract CLI prueba la tabla real contra cada regla. Aquí, todas las demás comprobaciones pasan, pero la frescura falla, porque el pedido más reciente tiene 31 horas. Ejecuta los tests en CI en cada cambio y de forma programada en producción. Con la opción publish, los resultados van al marketplace de datos.
Siete dimensiones de calidad
ODCS tiene siete dimensiones de calidad: accuracy, completeness, conformity, consistency, coverage, timeliness y uniqueness. Etiqueta cada regla con una dimensión. Entonces puedes comparar los resultados entre todos los Data Contracts. Cada dimensión muestra un tipo de problema distinto.
Puntuación de calidad por dimensión
El marketplace de datos convierte los resultados en una puntuación de calidad de 0 a 100. La puntuación de cada dimensión muestra dónde la calidad es baja. Puedes ver la puntuación de un Data Contract, un producto de datos, un equipo, un dominio y la organización. Los valores bajos muestran dónde tienes que invertir.