Fondamentaux
Open Data Product Standard (ODPS)
Dr. Simon Harrer
Co-Founder & CEO, Entropy Data ·
L'Open Data Product Standard (ODPS) est une spécification YAML ouverte pour décrire un produit de données : ce qu'il est, quelles données il consomme et fournit, qui en est responsable et comment l'utiliser. Il est gouverné par Bitol, un projet Linux Foundation AI & Data, et publié sous licence Apache 2.0.
ODPS est le standard frère de l'Open Data Contract Standard (ODCS). ODPS décrit le produit, ODCS décrit les données derrière chacun de ses ports. La version actuelle est la v1.1.0.
Exemple
apiVersion: v1.1.0
kind: DataProduct
id: fbe8d147-28db-4f1d-bedf-a3fe9f458427
name: Customer
version: v1.0.0
type: aggregate
domain: sales
status: active
description:
purpose: Enterprise view of a customer.
usage: Use consolidated_transactions for reporting.
inputPorts:
- name: payments
version: 2.0.0
contractId: dbb7b1eb-7628-436e-8914-2a00638ba6da
outputPorts:
- name: consolidated_transactions
description: Joined and aggregated transactions
type: tables
version: 1.0.0
contractId: a44978be-1fe0-4226-b840-1b715bc25c63
context:
instructions: Refresh latency is 4 hours.
constraints:
- constraint: Do not expose individual customer PII.
team:
name: customer-team
members:
- username: john.doe@example.com
role: owner
support:
- channel: "#customer-data"
tool: slack
url: https://example.slack.com/archives/C1234567890
Contenu
Voici les composants d'un produit de données ODPS :
- Fondamentaux : id, name, version, domain, status, description, tags et, depuis la v1.1.0, un
typetel quesourceAligned,aggregateouconsumerAligned. - Input Ports : les données que le produit consomme, chacune pouvant pointer vers un Data Contract ODCS.
- Output Ports : les données que le produit fournit, chacune avec son Data Contract, ses dépendances en entrée et un SBOM facultatif. Au moins un Output Port est obligatoire.
- Management Ports : endpoints REST ou topics pour la découvrabilité, l'observabilité et le contrôle.
- Contexte : instructions, verified statements et contraintes qui indiquent aux agents IA comment utiliser le produit de données et ses Output Ports.
- Équipe et support : responsables et membres, ainsi que les canaux où les Data Consumers trouvent de l'aide.
- Custom properties et authoritative definitions : extensions et liens vers une documentation externe, communs avec ODCS.
La v1.1.0 ajoute aussi des synonymes, des indicateurs de dépréciation, des id stables sur chaque objet de tableau et des variables ${VAR_NAME}.
Consultez les notes de version pour plus de détails.
Outillage
Entropy Data s'appuie sur ODPS pour construire sa marketplace de produits de données et prend en charge la v1.1.0 nativement. La Data Product CLI open source crée, valide et publie des fichiers ODPS :
pip install dataproduct-cli
dataproduct init customer.odps.yaml
dataproduct lint customer.odps.yaml
dataproduct publish customer.odps.yaml
Contexte d'un produit de données ODPS v1.1 dans Entropy Data, pour les consommateurs et les agents IA
Créez un compte gratuitement, ou explorez la démo interactive d'Entropy Data.
À propos de l'auteur
Dr. Simon Harrer
LinkedIn de Simon HarrerCo-Founder & CEO, Entropy Data
Simon construit des outils pour faire travailler ensemble les données, les gens et l'IA. Docteur en systèmes distribués, il a passé sept ans chez INNOQ comme architecte logiciel et consultant avant de cofonder Entropy Data, qu'il dirige en tant que CEO.