Del catálogo de datos al marketplace de datos

Catálogos de datos: indexar activos de datos

Los catálogos de datos buscan ofrecer un inventario completo de los activos de datos de una organización para responder preguntas como:

• ¿Qué datos hay disponibles?
• ¿Dónde están esos datos?
• ¿Cuál es el esquema de los datos?
• ¿Qué características estadísticas tienen?
• ¿Cuál es su data lineage?
• ¿Cómo se están usando?

Históricamente, los metacatálogos eran imprescindibles en las arquitecturas orientadas a data lake para especificar la estructura de los datos en los ficheros almacenados y hacerlos deserializables y accesibles mediante consultas estructuradas (por ejemplo, Hive Metastore, Project Nessie, Unity Catalog).

Con el tiempo, estas soluciones se han ampliado con funciones de descubrimiento y gobernanza hasta convertirse en catálogos de datos. Hoy los ofrecen todas las grandes plataformas de datos (AWS Glue Catalog, Google Dataplex Catalog, Microsoft Azure Purview, Databricks Unity Catalog) y también proveedores especializados (Alation, Atlan, Collibra, Informatica, etc.).

Por qué los catálogos de datos no acaban de aportar valor en las organizaciones

En muchas organizaciones, los catálogos de datos se usan poco a pesar de la fuerte inversión en construirlos y mantenerlos. A primera vista, la idea de un repositorio centralizado que indexe todos los activos de datos parece imprescindible en un mundo guiado por los datos. Sin embargo, en la práctica solemos ver justo lo contrario de ese ideal. La razón principal está en lo que llamamos la sobreindexación de activos y en la falta de información semántica y accionable dentro de esos catálogos.

Sobreindexación: una avalancha de datos irrelevantes

Los catálogos de datos tienen conectores para todas las fuentes importantes: bases de datos, data lakes, data warehouses, herramientas de BI y pipelines de datos. Cuando cada fuente se indexa por completo de forma automática, el catálogo recoge los datos de dominio que aportan valor al negocio, pero también todas las tablas intermedias, las tablas raw y los conjuntos de datos obsoletos que no interesan a la mayoría de los Data Consumers. Los equipos acaban rebuscando en un océano de datasets, muchos de ellos incompletos, desactualizados o ajenos a lo que necesitan, sobre todo cuando la semántica y el contexto de negocio no están claros. Casi ninguno de esos activos indexados automáticamente está documentado. Esta sobreindexación genera una sobrecarga de información que dificulta identificar los activos de datos realmente valiosos y fiables.

Los catálogos de datos construyen enseguida índices con millones de tablas, vistas, ficheros, topics, dashboards, informes y otros objetos de datos.

El efecto espectador

El efecto espectador es un fenómeno de psicología social: una persona es menos propensa a ayudar o a actuar ante una situación cuando hay otras personas presentes. La presencia de los demás diluye la sensación de responsabilidad y lleva a suponer que ya intervendrá otro o que la propia acción no hace falta. En un catálogo de datos con millones de activos indexados pero sin documentar, el efecto espectador aparece como una resistencia general a asumir la responsabilidad de documentar o mejorar el catálogo. Con millones de activos, cada persona da por hecho que otro equipo, otro departamento u otro colega está mejor situado, o más obligado, para documentar o mejorar unos metadatos concretos. La magnitud del problema hace que su contribución individual parezca insignificante o invisible, lo que reduce la motivación para actuar. Documentar activos se percibe como una tarea ingrata o de baja prioridad.

Por supuesto, los catálogos de datos permiten añadir documentación y etiquetas para mejorar los metadatos, y los Data Stewards animan a los equipos a hacerlo. Pero nadie quiere ser el primero ni el único en ponerse a ordenar el caos. Resulta frustrante dedicar tiempo a documentar y limpiar datos mientras la inmensa mayoría de los activos sigue sin documentar y con mala calidad.

Demasiado detalle técnico y poca conexión con el negocio

Otro problema serio es el foco en los metadatos técnicos. La información sobre estructuras de esquema, tipos de campo y lineage le sirve a los ingenieros, pero apenas responde a las necesidades de los usuarios de negocio, que dependen de la claridad semántica y de las garantías de calidad.

La mayoría de los catálogos de datos no capturan ni comunican estos aspectos críticos:

• Semántica: los usuarios de negocio necesitan entender qué representan los datos en el contexto de un dominio concreto y en qué procesos de negocio se han generado. Eso exige definiciones claras, relaciones y ejemplos, no solo esquemas técnicos.
• Calidad de los datos: los usuarios necesitan saber si los datos son completos, consistentes y adecuados para su propósito. Y sin embargo, casi ningún catálogo ofrece una valoración clara de estos factores.
• Expectativas de nivel de servicio: la fiabilidad, la disponibilidad y la frecuencia de actualización de un dataset son esenciales para saber si sirve en procesos operativos y analíticos. Sin esa información, confiar en los datos es una apuesta.

Estos aspectos no se pueden extraer automáticamente de las fuentes de datos: requieren curación manual y conocimiento del dominio.

Hacia un nuevo paradigma: el marketplace de datos empresarial

Los productos de datos están transformando la forma en que las organizaciones con equipos distribuidos gestionan y comparten datos. Representan un giro hacia una gestión de datos centrada en quien los consume.

Productos de datos: pensados para el consumidor y con una propiedad clara

Los productos de datos son unidades lógicas construidas alrededor de un concepto de negocio, que combinan activos, código y documentación para ofrecer una solución de datos coherente a quien los consume. Ocultan los detalles de implementación (tablas raw e intermedias, pipelines de código, datos de prueba) y solo exponen a otros equipos los datasets finales y curados a través de Output Ports definidos. Un producto de datos suele pertenecer al equipo que entiende el dominio de negocio y nace de la decisión deliberada de compartir esos datos como producto.

La mayoría de las organizaciones tienen entre cientos y unos pocos miles de productos de datos, mucho más fáciles de gestionar y mantener que los millones de activos indexados en un catálogo de datos tradicional.

Data Contracts: explicar y verificar sintaxis, semántica y calidad

Al ofrecer productos de datos hay que describir y explicar los datos a los posibles Data Consumers. Ahí es donde entran los Data Contracts. Un Data Contract define la estructura, el formato, la semántica, las métricas de calidad, los SLA y las condiciones del intercambio de datos entre proveedores y consumidores. Técnicamente es una especificación YAML estandarizada, legible tanto por personas como por máquinas (consulta la Data Contract Specification y ODCS). Los Data Contracts los curan manualmente los owners y los consumidores mediante un proceso colaborativo de ingeniería de requisitos. Después, la plataforma de datos prueba, valida y hace cumplir la conformidad de los productos de datos con esos contratos.

Los Data Contracts son a los productos de datos lo que las API han sido a los sistemas de software: una especificación de interfaz clara que permite a los Data Consumers construir sobre el producto de datos sin tener que entender los detalles de implementación.

Flujo self-service de solicitud y aprobación

Cuando reunimos los productos de datos y sus Data Contracts en un marketplace de datos empresarial, podemos habilitar la gestión de accesos en modo self-service.

Los Data Consumers pueden solicitar acceso a los productos de datos respetando las condiciones del Data Contract. Los Data Product Owners se encargan de aprobar o rechazar esas solicitudes según su conocimiento del dominio y las reglas de gobernanza. La plataforma de datos automatiza la gestión de los permisos y garantiza un tratamiento eficiente y seguro de los activos del producto de datos. Este flujo self-service elimina los cuellos de botella que provoca una gobernanza centralizada y lenta. Un registro de auditoría completo de solicitudes, aprobaciones y consumidores activos aporta transparencia total a los Data Producers y a los equipos de gobernanza.

Data Governance guiada por contratos

Una gobernanza eficaz en un marketplace de datos depende de una propiedad clara y de Data Contracts estables. Las políticas globales fijan las reglas base que se aplican a todos los productos de datos y aseguran la coherencia del marketplace. Los Data Contracts se apoyan en esas políticas y añaden el detalle propio de cada dominio, como los términos de uso, los estándares de calidad y los requisitos de cumplimiento, lo que los hace imprescindibles para que el intercambio entre productores y consumidores sea fiable.

Los Data Product Owners responden de que su oferta cumpla los estándares acordados y siga siendo conforme tanto con las políticas globales como con las garantías del contrato. Manteniendo sus productos de datos y colaborando con los consumidores, hacen que el marketplace funcione de forma eficiente y fiable.

La IA nos ayuda en la gobernanza monitorizando metadatos, validando el cumplimiento y detectando riesgos potenciales. Con buenos metadatos, los LLM pueden generar recomendaciones y avisos para los Data Product Owners y así aligerar su trabajo. Aun así, la responsabilidad última sigue siendo suya: su conocimiento del dominio es lo que hace que las decisiones de gobernanza sean prácticas y estén alineadas con los objetivos de negocio.

Resumen

Durante años, los catálogos de datos han sido la solución principal para gestionar los activos de datos. Pero su utilidad suele quedar limitada por la sobreindexación y por la falta de semántica y de garantías de calidad. Unos metadatos de producto de datos que funcionan son los que se guían por Data Contracts, se curan a mano y tienen una propiedad clara. En un marketplace de datos, las organizaciones pueden compartir productos de datos gestionados con otros equipos o con organizaciones externas en modo self-service y con reglas de gobernanza claras.

Entropy Data como marketplace de datos

Descubre cómo Entropy Data puede ayudarte a construir un marketplace de datos empresarial.

Empieza gratis, explora la demo interactiva de Entropy Data o reserva una visita guiada con los autores.