Data Mesh
Een data mesh is een gedecentraliseerde data-architectuur waarin domeinen hun eigen data als product beheren en publiceren volgens gedeelde afspraken.
Wat is Data Mesh?
Een data mesh is een gedecentraliseerde aanpak van data-architectuur waarin bedrijfsdomeinen hun eigen data als product beheren en publiceren, in plaats van alles naar één centraal datateam te sturen. Zhamak Dehghani introduceerde het idee in 2019. Het rust op vier principes: eigenaarschap per domein, data als product, een self-service dataplatform en gefedereerde governance, oftewel gedeelde standaarden die elk domein volgt. Een data lake of data warehouse is opslagtechniek; een data mesh is een organisatiemodel dat die techniek nog steeds kan gebruiken. Voor productinformatie is het team dat de producten het best kent eigenaar van de productdata en publiceert het die in een afgesproken vorm. Duidelijke data governance voorkomt dat een mesh nieuwe silo's oplevert.
Waarom Data Mesh belangrijk is voor e-commerce
Grote retailers hebben veel datadomeinen: producten, prijzen, voorraad, orders, klanten en marketing. Moet één centraal team dat allemaal modelleren en opschonen, dan stapelen verzoeken zich op, en zijn de mensen die de data het best kennen niet degenen die het oplossen. Een data mesh legt die verantwoordelijkheid bij de domeinen. Het productteam is eigenaar van de kwaliteit van productdata, logistiek van voorraaddata, en elk team publiceert data waar anderen op kunnen bouwen. Dat past bij grote organisaties met meerdere sterke teams. Voor kleinere webshops is één centraal systeem met een duidelijke eigenaar per type data meestal eenvoudiger.
Voorbeelden van Data Mesh
- 1Domein: Product, Eigenaar: productcontentteam, Dataproduct: verrijkte productdata in het PIM
- 2Domein: Voorraad, Eigenaar: logistiek, Dataproduct: voorraad per magazijn via een API
- 3Domein: Marketing, Eigenaar: marketinganalyse, Dataproduct: campagne- en attributietabellen
- 4Domein: Klant, Eigenaar: CRM-team, Dataproduct: klantsegmenten die sales gebruikt
Hoe WISEPIM helpt
- WISEPIM kan in een data mesh het hulpmiddel van het productdomein zijn: het productteam beheert daar attributen, beschrijvingen en afbeeldingen.
- Quality Guard-regels maken de kwaliteitsstandaarden van het productdomein expliciet en controleerbaar.
- Exports en platformkoppelingen publiceren productdata naar de kanalen en systemen die ze gebruiken.
- Met attribuutbeheer houd je één afgesproken structuur voor productdata in alle categorieën.
Veelgemaakte fouten met Data Mesh
- Een data mesh zien als softwareaankoop in plaats van een verandering in eigenaarschap.
- Domeinen eigenaar maken zonder gedeelde standaarden, waardoor nieuwe silo's ontstaan.
- Een mesh invoeren in een kleine organisatie waar één centraal team prima werkt.
- Het self-service platform overslaan, waardoor elk domein zijn eigen tools bouwt.
Tips voor Data Mesh
- Begin met één domein dat een duidelijke eigenaar en duidelijke afnemers heeft.
- Leg vast wat een dataproduct bruikbaar maakt: schema, eigenaar, kwaliteitscontroles en documentatie.
- Vergelijk de rol van PIM en masterdatabeheer in de gids PIM vs MDM.
Trends rondom Data Mesh
- Datacontracten: vastgelegde afspraken over schema en kwaliteit tussen producenten en gebruikers van data.
- Datacatalogi die dataproducten van domeinen makkelijk vindbaar maken.
- AI-tools die dataproducten automatisch toetsen aan kwaliteitsregels.
Tools voor Data Mesh
- WISEPIM: een PIM waarmee het productdomein eigenaar is van productdata.
- Snowflake: een datacloud om dataproducten te delen.
- Databricks: een lakehouse-platform voor dataproducten per domein.
- Starburst: een query-engine over verspreide databronnen.
- Confluent: event streaming om data tussen domeinen te delen.