Fundamentos
Open Data Product Standard (ODPS)
Dr. Simon Harrer
Co-Founder & CEO, Entropy Data ·
El Open Data Product Standard (ODPS) es una especificación YAML abierta para describir un producto de datos: qué es, qué datos consume y ofrece, quién es su propietario y cómo se usa. Lo gobierna Bitol, un proyecto de Linux Foundation AI & Data, y tiene licencia Apache 2.0.
ODPS es el estándar hermano del Open Data Contract Standard (ODCS). ODPS describe el producto; ODCS describe los datos detrás de cada uno de sus ports. La versión actual es la v1.1.0.
Ejemplo
apiVersion: v1.1.0
kind: DataProduct
id: fbe8d147-28db-4f1d-bedf-a3fe9f458427
name: Customer
version: v1.0.0
type: aggregate
domain: sales
status: active
description:
purpose: Enterprise view of a customer.
usage: Use consolidated_transactions for reporting.
inputPorts:
- name: payments
version: 2.0.0
contractId: dbb7b1eb-7628-436e-8914-2a00638ba6da
outputPorts:
- name: consolidated_transactions
description: Joined and aggregated transactions
type: tables
version: 1.0.0
contractId: a44978be-1fe0-4226-b840-1b715bc25c63
context:
instructions: Refresh latency is 4 hours.
constraints:
- constraint: Do not expose individual customer PII.
team:
name: customer-team
members:
- username: john.doe@example.com
role: owner
support:
- channel: "#customer-data"
tool: slack
url: https://example.slack.com/archives/C1234567890
Contenido
Estos son los bloques que componen un producto de datos en ODPS:
- Fundamentos: id, nombre, versión, dominio, estado, descripción, etiquetas y, desde la v1.1.0, un
typecomosourceAligned,aggregateoconsumerAligned. - Input Ports: los datos que consume el producto, cada uno con una referencia opcional a un Data Contract ODCS.
- Output Ports: los datos que ofrece el producto, cada uno con su Data Contract, sus dependencias de entrada y un SBOM opcional. Se requiere al menos uno.
- Management ports: endpoints REST o topics para descubrimiento, observabilidad y control.
- Contexto: instrucciones, afirmaciones verificadas y restricciones que indican a los agentes de IA cómo usar el producto de datos y sus Output Ports.
- Equipo y soporte: propietarios y miembros, además de los canales donde los Data Consumers obtienen ayuda.
- Propiedades personalizadas y definiciones autorizadas: extensiones y enlaces a documentación externa, compartidas con ODCS.
La v1.1.0 también añade sinónimos, marcas de deprecación, ids estables en cada objeto de un array y variables ${VAR_NAME}.
Consulta las notas de la versión para más detalles.
Herramientas
Entropy Data usa ODPS para construir su marketplace de productos de datos y admite la v1.1.0 de forma nativa. La Data Product CLI, open source, crea, valida y publica archivos ODPS:
pip install dataproduct-cli
dataproduct init customer.odps.yaml
dataproduct lint customer.odps.yaml
dataproduct publish customer.odps.yaml
Contexto de un producto de datos ODPS v1.1 en Entropy Data, para consumidores y agentes de IA
Regístrate gratis ahora o explora la demo interactiva de Entropy Data.
Sobre el autor
Dr. Simon Harrer
LinkedIn de Simon HarrerCo-Founder & CEO, Entropy Data
Simon construye herramientas para que los datos, las personas y la IA trabajen juntos. Es doctor en sistemas distribuidos, pasó siete años en INNOQ como arquitecto de software y consultor, y cofundó Entropy Data, donde es CEO.