Data Mesh
Ein Data Mesh ist eine dezentrale Datenarchitektur, in der Fachbereiche ihre Daten als Produkte besitzen und veröffentlichen und dabei gemeinsamen Governance-Regeln folgen.
Was ist Data Mesh?
Ein Data Mesh ist ein dezentraler Ansatz für Datenarchitektur, bei dem Fachbereiche (Domänen) ihre eigenen Daten als Produkte besitzen, veröffentlichen und pflegen, statt alles an ein zentrales Datenteam zu schicken. Zhamak Dehghani hat die Idee 2019 vorgestellt. Es beruht auf vier Prinzipien: Domain Ownership, Daten als Produkt, eine Self-Service-Datenplattform und föderierte Governance, also gemeinsame Standards, an die sich jede Domäne hält. Ein Data Lake oder Data Warehouse ist eine Speichertechnologie, ein Data Mesh ist ein Organisationsmodell, das diese darunter weiterhin nutzen kann. Bei Produktinformationen besitzt das Team, das die Produkte am besten kennt, die Produktdaten und veröffentlicht sie in einer vereinbarten Form. Klare Data Governance verhindert, dass ein Mesh zu neuen Silos wird.
Warum Data Mesh im E-Commerce wichtig ist
Große Händler haben viele Datendomänen: Produkte, Preise, Bestände, Bestellungen, Kunden und Marketing. Muss ein zentrales Team all das modellieren und bereinigen, stauen sich Anfragen, und die Leute, die die Daten am besten kennen, sind nicht die, die sie korrigieren. Ein Data Mesh verlagert diese Verantwortung in die Domänen. Das Produktteam verantwortet die Qualität der Produktdaten, die Logistik die Bestandsdaten, und jede Domäne veröffentlicht Daten, auf die sich andere Teams verlassen können. Das passt zu großen Organisationen mit mehreren kompetenten Teams. Für kleinere Shops ist ein zentrales System mit einem klaren Verantwortlichen pro Datentyp meist einfacher.
Beispiele für Data Mesh
- 1Domäne: Produkt, Verantwortlich: Produkt-Content-Team, Datenprodukt: angereicherte Produktdaten im PIM
- 2Domäne: Bestand, Verantwortlich: Logistik, Datenprodukt: Bestände pro Lager über eine API
- 3Domäne: Marketing, Verantwortlich: Marketing-Analytics, Datenprodukt: Kampagnen- und Attributionstabellen
- 4Domäne: Kunde, Verantwortlich: CRM-Team, Datenprodukt: Kundensegmente, die mit dem Vertrieb geteilt werden
So hilft WISEPIM
- WISEPIM kann in einem Data Mesh das Tool der Produktdomäne sein: Das Produktteam verantwortet dort Attribute, Beschreibungen und Bilder.
- Quality-Guard-Regeln machen die Qualitätsstandards der Produktdomäne explizit und prüfbar.
- Exporte und Plattformverbindungen veröffentlichen Produktdaten an die Kanäle und Systeme, die sie nutzen.
- Die Attributverwaltung hält eine vereinbarte Struktur für Produktdaten über alle Kategorien hinweg.
Häufige Fehler bei Data Mesh
- Ein Data Mesh als Softwarekauf statt als Wechsel der Verantwortung behandeln.
- Domänen Verantwortung geben, ohne gemeinsame Standards, was neue Silos erzeugt.
- Ein Mesh in einer kleinen Organisation einführen, in der ein zentrales Team gut funktioniert.
- Die Self-Service-Plattform weglassen, sodass jede Domäne ihre eigenen Tools baut.
Tipps zu Data Mesh
- Starte mit einer Domäne, die einen klaren Verantwortlichen und klare Nutzer ihrer Daten hat.
- Lege fest, was ein Datenprodukt nutzbar macht: Schema, Verantwortlicher, Qualitätsprüfungen und Dokumentation.
- Vergleiche die Rollen von PIM und Master Data Management im Leitfaden PIM vs. MDM.
Trends rund um Data Mesh
- Data Contracts: schriftliche Vereinbarungen zu Schema und Qualität zwischen Datenproduzenten und -konsumenten.
- Datenkataloge, die Datenprodukte der Domänen leicht auffindbar machen.
- AI-Tools, die Datenprodukte automatisch gegen Qualitätsregeln prüfen.
Tools für Data Mesh
- WISEPIM: ein PIM, mit dem die Produktdomäne ihre Produktdaten verantworten kann.
- Snowflake: eine Data Cloud zum Teilen von Datenprodukten.
- Databricks: eine Lakehouse-Plattform für Datenprodukte der Domänen.
- Starburst: eine Query-Engine über verteilte Datenquellen hinweg.
- Confluent: Event-Streaming zum Teilen von Daten zwischen Domänen.