Data Mesh

Het belangrijkste voordeel is schaalbaarheid en snelheid. Door data-eigenaarschap bij de domeinexperts te leggen (bijv. het marketing- of inkoopteam), verdwijnen bottlenecks bij de centrale IT-afdeling. Dit stelt webshops in staat om sneller te reageren op marktveranderingen en nieuwe verkoopkanalen effectiever te bedienen met hoogwaardige data.

Data Mesh is vooral ontworpen voor complexe organisaties met veel verschillende datadomeinen. Voor kleinere bedrijven met een enkel datateam kan de overhead van een Data Mesh groter zijn dan de voordelen. Echter, het principe van 'data als product' en het nemen van eigenaarschap over specifieke data-onderdelen is een best practice die elk groeiend e-commerce bedrijf kan toepassen.

De implementatie begint bij het identificeren van domeinspecifieke teams, zoals Marketing en Logistiek, en hen de volledige verantwoordelijkheid te geven over hun eigen data. Faciliteer dit door een self-service data platform aan te bieden en stel globale standaarden op voor governance om interoperabiliteit te garanderen. Hierdoor kunnen teams hun data aanbieden als een product dat via gestandaardiseerde API's toegankelijk is voor de rest van de organisatie.

Stap over op een Data Mesh wanneer het centrale IT-team een bottleneck vormt en de time-to-market voor nieuwe data-inzichten te lang wordt. Dit is vooral relevant voor grote retailers met complexe supply chains waarbij de diepgaande domeinkennis verspreid is over verschillende afdelingen. Als de kwaliteit van data in een centraal systeem achteruitgaat omdat de centrale beheerders de context missen, biedt decentralisatie de oplossing.

Het principe van data as a product zorgt ervoor dat datasets vindbaar, betrouwbaar en direct bruikbaar zijn voor andere teams binnen het bedrijf. Het legt de verantwoordelijkheid voor datakwaliteit en documentatie bij de makers van de data, vergelijkbaar met hoe een commercieel product voor een klant wordt ontwikkeld. In een e-commerce context betekent dit dat het logistieke team data levert die de klantenservice direct kan gebruiken voor tracking-updates.

Ja, een Data Mesh werkt uitstekend samen met een PIM door het PIM-systeem te positioneren als de bron voor het productdomein. Het PIM fungeert als de gecontroleerde bron van waarheid voor productattributen, die vervolgens als een dataproduct worden gedeeld met andere domeinen zoals Marketing of Analytics. Deze opzet garandeert dat hoogwaardige productinformatie beschikbaar is in de gehele gedecentraliseerde architectuur zonder dat er nieuwe silo's ontstaan.

Een Data Lake is een centrale opslagplaats waar alle ruwe data van een bedrijf samenkomt, vaak beheerd door één IT-team. Bij een Data Mesh wordt deze centrale vijver opgebroken. In plaats van één grote bak met data, hebben verschillende afdelingen hun eigen beheerde databronnen. Waar een Data Lake focust op technologische centralisatie, draait Data Mesh om organisatorische decentralisatie waarbij data als een product wordt behandeld door de makers zelf.

In een Data Mesh-structuur ligt de verantwoordelijkheid bij de domeinexperts, zoals het marketing- of logistiekteam. Zij treden op als data product owners. In plaats van een centrale data-engineer die de inhoudelijke context mist, zorgt het team dat de data genereert ook voor de kwaliteit en beschikbaarheid. Een centraal platformteam ondersteunt hen wel met de nodige infrastructuur, maar de afdelingen bepalen zelf hoe hun data inhoudelijk wordt gestructureerd en gedeeld.

Een veelgemaakte fout is het onderschatten van de cultuuromslag. Bedrijven focussen vaak te veel op de techniek, terwijl de grootste uitdaging ligt bij het eigenaarschap. Als domeinteams niet de juiste vaardigheden of tijd krijgen om hun data als product te beheren, ontstaat er wildgroei. Daarnaast is een gebrek aan universele standaarden riskant; zonder afspraken over hoe verschillende afdelingen hun data presenteren, kunnen systemen niet meer met elkaar communiceren, wat de decentralisatie onwerkbaar maakt.

Succes wordt niet gemeten aan de hoeveelheid opgeslagen data, maar aan de snelheid waarmee nieuwe data-inzichten beschikbaar zijn. Kijk naar de time-to-market voor een nieuw dataproduct. Ook de lead time voor het onboarden van nieuwe dataconsumenten en de algemene datakwaliteit binnen de domeinen zijn belangrijke KPI's. Als het aantal supportvragen aan het centrale IT-team over datatoegang structureel daalt, is dit een teken dat de zelfredzaamheid binnen de mesh effectief werkt.

Hoewel de data gedecentraliseerd is, wordt de beveiliging geregeld via federated governance. Dit betekent dat er organisatiebrede regels zijn voor toegangsbeheer en privacy (zoals GDPR), die automatisch worden toegepast op elk dataproduct. Elk domein is verantwoordelijk voor het naleven van deze regels, maar de tools voor encryptie en autorisatie worden als een gedeelde service aangeboden. Zo blijft de data veilig zonder dat elk team zelf het wiel voor beveiliging opnieuw hoeft uit te vinden.

Stel dat een webshop internationaal uitbreidt. Het logistieke team beheert hun eigen voorraadgegevens en levert deze als een kant-en-klaar product aan andere afdelingen. Het klantenserviceteam beheert op hun beurt de retourdata. Wanneer de directie een rapportage wil over de impact van retouren op de voorraad, koppelen ze deze twee dataproducten eenvoudig aan elkaar. Niemand hoeft te wachten op een centraal IT-team om een ingewikkelde koppeling te bouwen, omdat de teams hun data al gestandaardiseerd aanbieden.