Open Source

🎉 ODCS v3.2.0 und ODPS v1.1.0 veröffentlicht

Das Bitol-Projekt, ein Linux Foundation AI & Data Projekt, hat heute gleich zwei neue Versionen seiner offenen Standards veröffentlicht: den Open Data Contract Standard (ODCS) v3.2.0 und den Open Data Product Standard (ODPS) v1.1.0. Beide Releases sind dem Andenken an unseren Freund und langjährigen Contributor Peter Flook gewidmet, dessen Arbeit die Bitol-Standards geprägt hat, von Datenqualitätstests über Schema-Validierung bis zu Dokumentation und Vendor-Onboarding.

Die Bitol-Website, Heimat des Open Data Contract Standard und des Open Data Product Standard

Die beiden Releases wurden gemeinsam entwickelt. Fünf geteilte RFCs definieren jedes Feature einmal und landen gleichzeitig in ODCS und ODPS. Ein Data Contract und das Datenprodukt, das ihn bereitstellt, beschreiben Kontext, Synonyme, Deprecation, Variablen und Vendor-Zuordnung damit auf dieselbe Weise.

Was ist neu in ODCS v3.2.0

🤖 Kontext für KI-Agenten. Ein neuer context-Block auf dem Contract und auf jedem Schema enthält Anweisungen, verifizierte Aussagen und Einschränkungen: Sag Agenten, wie sie deine Daten nutzen sollen, was verifiziert ist und was sie niemals tun dürfen.
🔢 Enums. Das lang erwartete enum beschränkt eine Property auf eine feste Menge von Werten, jeweils mit optionalem Label, Beschreibung und Tags.
🧭 Vektoren und Maps. Ein logischer Typ vector beschreibt Embeddings mit Dimensionen, Elementtyp, Distanzmetrik und Embedding-Modell. Ein logischer Typ map beschreibt Key/Value-Strukturen mit typisierten Schlüsseln und Werten.
📊 Measures und Dimensions. Ein semanticType auf einer Property deklariert ihre Rolle als Column, Measure oder Dimension, ohne die Property-Struktur zu verlassen.
🔤 Synonyme. Alternative Namen auf Schemas und Properties, mit Locale und Quelle, für Datenkataloge und LLM-Tools.
🗄️ Zehn neue Servertypen. Apache Iceberg über den REST-Katalog, SAP HANA, Exasol, Teradata und die Actian-Engines Ingres, Vectorwise, Versant und Poet, dazu eine Workgroup für Athena und ein Zeichen-Encoding für dateibasierte Server.
⚠️ Deprecation. Ein deprecated-Flag auf Schema-Objekten und Properties nimmt Felder außer Betrieb, ohne Consumers zu brechen: Sie bleiben dokumentiert und validiert.
🔁 Variablen. String-Werte dürfen ${VAR_NAME} referenzieren, mit Defaults im POSIX-Stil, und werden zur Laufzeit aufgelöst.
🆔 Standardisierte IDs. Stabile id-Felder auf Relationships vervollständigen die ID-Arbeit in der gesamten Spezifikation, und IDs erlauben jetzt Namespaces und URNs.
🧩 Kleinere Ergänzungen. Custom Properties und Authoritative Definitions auf SLA-Properties sowie eine vendor-Zuordnung auf Custom Properties.

Der Context-Bereich eines ODCS v3.2.0 Data Contracts in Entropy Data: Anweisungen, verifizierte Aussagen und Einschränkungen für Consumers und KI-Agenten — Der context-Block eines ODCS v3.2.0 Data Contracts in Entropy Data: Anweisungen, verifizierte Aussagen und Einschränkungen, für Consumers und KI-Agenten gleichermaßen.

Ein Data-Contract-Schema in Entropy Data mit einer vector-Property samt Dimensionen und Elementtyp, einer map-Property mit Schlüssel und Wert sowie Synonymen an der Tabelle und an einer Property — Die neuen logischen Typen in der Schema-Ansicht: ein vector mit Dimensionen und Elementtyp, eine map mit verschachteltem Schlüssel und Wert sowie Synonyme an der Tabelle und an einer Property.

Der Bereich Allowed Values einer Property im Data Contract Editor mit den Enum-Werten apparel, shoes und accessories samt Labels und Beschreibungen — Enums im Data Contract Editor: jeder erlaubte Wert mit Label und Beschreibung, gespeichert im neuen `enum`-Feld der Property.

Was ist neu in ODPS v1.1.0

🏷️ Datenprodukt-Typ. Ein type auf oberster Ebene klassifiziert ein Datenprodukt, zum Beispiel als source-aligned, aggregate oder consumer-aligned.
🤖 Kontext und Synonyme. Derselbe context-Block und dieselben synonyms wie in ODCS, auf dem Datenprodukt und auf jedem Output Port.
⚠️ Deprecation. Ein deprecated-Flag auf dem Datenprodukt und auf Input, Output und Management Ports.
🆔 Standardisierte IDs. Jedes Array-Objekt kann eine stabile id tragen. Input und Output Ports brauchen jetzt nur noch einen name; Version und Contract-ID sind optional.
🧩 Kleinere Ergänzungen. Tags, Custom Properties und Authoritative Definitions auf SBOM-Einträgen, Vendor-Zuordnung auf Custom Properties und Variablen-Interpolation.

Der Kopfbereich des Datenprodukts Orders in Entropy Data mit der Kennzeichnung Data Product (Source-Aligned) — Der ODPS v1.1.0 Datenprodukt-Typ im Kopfbereich eines Datenprodukts.

Der Context-Bereich eines Datenprodukts in Entropy Data mit Anweisungen und verifizierten Aussagen in Form von SQL-Abfragen — Context an einem Datenprodukt: Anweisungen und verifizierte Aussagen, hier fertige SQL-Abfragen, die Entropy Intelligence und andere Agenten aufgreifen.

Support ab dem ersten Tag in Entropy Data

Wir haben zu beiden Releases beigetragen und dafür gesorgt, dass unser Tooling ab dem ersten Tag bereit ist:

Entropy Data unterstützt Data Contracts nach ODCS v3.2.0 und Datenprodukte nach ODPS v1.1.0.
Das Data Contract CLI v1.2.0, ebenfalls heute veröffentlicht, lintet, testet, importiert und exportiert ODCS-v3.2.0-Contracts, inklusive Enums, Maps, Vektoren, Semantic Types, Synonymen, Deprecation und Kontext. datacontract init schreibt jetzt apiVersion: v3.2.0.
Der Data Contract Editor validiert und bearbeitet v3.2.0-Contracts.

Der Data Contract Editor mit dem Context-Bereich eines ODCS v3.2.0 Data Contracts — Der Data Contract Editor bearbeitet den neuen context-Block und validiert den Data Contract gegen das ODCS v3.2.0 Schema.

Der Migrationsdialog im Data Contract Editor: ein ODCS v3.1.0 Data Contract mit dem Button Migrate to v3.2.0 und einer Bestätigung, die erklärt, was die Migration ändert — Migration eines bestehenden Data Contracts: Der Editor erkennt einen Contract, der noch v3.1.0 deklariert, erklärt, was die Migration anfasst, und setzt `apiVersion: v3.2.0` mit einem Klick. Die neuen Bereiche wie Context werden freigeschaltet, sobald der Contract die neue Version deklariert.

Danke an alle in der Bitol-Community, die RFCs geschrieben, Pull Requests reviewt und die Pre-Releases getestet haben. Offene Standards funktionieren nur, wenn viele Menschen sie gemeinsam bauen.

Jetzt loslegen

Lies die Spezifikationen, aktualisiere deine Contracts auf apiVersion: v3.2.0 und erzähl uns, was du damit baust. Neu bei Data Contracts? Starte mit unserer Einführung in ODCS.

ODCS-v3.2.0-Spezifikation ODPS-v1.1.0-Spezifikation