Grundlagen
Open Data Product Standard (ODPS)
Dr. Simon Harrer
Co-Founder & CEO, Entropy Data ·
Der Open Data Product Standard (ODPS) ist eine offene YAML-Spezifikation zur Beschreibung eines Datenprodukts: was es ist, welche Daten es konsumiert und bereitstellt, wem es gehört und wie du es nutzt. Er wird von Bitol gepflegt, einem Projekt der Linux Foundation AI & Data, und steht unter der Apache-2.0-Lizenz.
ODPS ist das Gegenstück zum Open Data Contract Standard (ODCS). ODPS beschreibt das Produkt, ODCS beschreibt die Daten hinter jedem seiner Ports. Die aktuelle Version ist v1.1.0.
Beispiel
apiVersion: v1.1.0
kind: DataProduct
id: fbe8d147-28db-4f1d-bedf-a3fe9f458427
name: Customer
version: v1.0.0
type: aggregate
domain: sales
status: active
description:
purpose: Enterprise view of a customer.
usage: Use consolidated_transactions for reporting.
inputPorts:
- name: payments
version: 2.0.0
contractId: dbb7b1eb-7628-436e-8914-2a00638ba6da
outputPorts:
- name: consolidated_transactions
description: Joined and aggregated transactions
type: tables
version: 1.0.0
contractId: a44978be-1fe0-4226-b840-1b715bc25c63
context:
instructions: Refresh latency is 4 hours.
constraints:
- constraint: Do not expose individual customer PII.
team:
name: customer-team
members:
- username: john.doe@example.com
role: owner
support:
- channel: "#customer-data"
tool: slack
url: https://example.slack.com/archives/C1234567890
Inhalt
Das sind die Bausteine eines ODPS-Datenprodukts:
- Grundlagen: ID, Name, Version, Domain, Status, Beschreibung, Tags und seit v1.1.0 ein
typewiesourceAligned,aggregateoderconsumerAligned. - Input Ports: die Daten, die das Datenprodukt konsumiert, jeweils optional mit Verweis auf einen ODCS-Data-Contract.
- Output Ports: die Daten, die das Datenprodukt bereitstellt, jeweils mit Data Contract, Input-Abhängigkeiten und optionaler SBOM. Mindestens einer ist Pflicht.
- Management Ports: REST-Endpunkte oder Topics für Discoverability, Observability und Steuerung.
- Context: Anweisungen, verifizierte Aussagen und Constraints, die KI-Agenten sagen, wie sie das Datenprodukt und seine Output Ports nutzen sollen.
- Team und Support: Owner und Mitglieder sowie die Kanäle, in denen Consumers Hilfe bekommen.
- Custom Properties und Authoritative Definitions: Erweiterungen und Links auf externe Dokumentation, gemeinsam mit ODCS.
v1.1.0 ergänzt außerdem Synonyme, Deprecation-Flags, stabile IDs für jedes Objekt in einem Array und ${VAR_NAME}-Variablen.
Details findest du in den Release Notes.
Tooling
Entropy Data baut seinen Datenmarktplatz auf ODPS auf und unterstützt v1.1.0 nativ. Die Open-Source Data Product CLI erstellt, lintet und veröffentlicht ODPS-Dateien:
pip install dataproduct-cli
dataproduct init customer.odps.yaml
dataproduct lint customer.odps.yaml
dataproduct publish customer.odps.yaml
Context eines ODPS-v1.1-Datenprodukts in Entropy Data, für Consumers und KI-Agenten
Kostenlos starten oder die interaktive Demo von Entropy Data erkunden.
Über den Autor
Dr. Simon Harrer
LinkedIn von Simon HarrerCo-Founder & CEO, Entropy Data
Simon baut Tools, die Daten, Menschen und KI zusammenarbeiten lassen. Er hat in verteilten Systemen promoviert, war sieben Jahre als Softwarearchitekt und Consultant bei INNOQ und hat Entropy Data mitgegründet, das er als CEO führt.