Data Lineage
Data lineage is het overzicht van waar data vandaan komt, welke stappen het hebben veranderd en waar het naartoe gaat, van bron tot eindbestemming.
Wat is Data Lineage?
Data lineage is het overzicht van waar data vandaan komt, hoe die onderweg verandert en waar die terechtkomt. Bij productdata volg je een waarde zoals een prijs of omschrijving van het leveranciersbestand via import, mapping en verrijking naar de webshop of marketplace. Lineage beantwoordt vragen als: uit welk bestand komt dit gewicht, welke regel heeft deze titel herschreven en welke kanalen kregen de wijziging. Het ligt dicht bij data provenance (dataherkomst), dat vooral over de oorsprong gaat, terwijl lineage het hele pad inclusief bewerkingen beschrijft. Een audit trail legt vast wie wat wijzigde; lineage verbindt die gebeurtenissen tot één stroom. Het is een kernonderdeel van data governance, want data die je niet kunt herleiden kun je ook niet herstellen of verantwoorden.
Waarom Data Lineage belangrijk is voor e-commerce
Productdata gaat in e-commerce door veel handen: leveranciers, ERP, PIM, verrijking, feedtools en kanalen. Staat er een verkeerde waarde op een productpagina, dan vertelt lineage je waar die binnenkwam en welke stap je moet herstellen, in plaats van het symptoom op één plek te verbeteren. Lineage telt ook voor compliance. Regels zoals het Europese Digital Product Passport vragen merken om te laten zien waar productinformatie vandaan komt. Een duidelijk overzicht van bronnen en wijzigingen maakt die vragen makkelijker te beantwoorden.
Voorbeelden van Data Lineage
- 1Waarde: Productgewicht 2,4 kg, Bron: leveranciers-CSV van 3 maart, Stap: eenheid omgerekend van gram, Bestemming: Shopify en Google Shopping
- 2Waarde: Nederlandse titel, Bron: naam uit het ERP, Stap: herschreven door een titeltemplate, Bestemming: webshop
- 3Waarde: Duitse omschrijving, Bron: Nederlandse omschrijving, Stap: AI-vertaling, Bestemming: Duitse webshop
- 4Waarde: Actieprijs, Bron: basisprijs, Stap: prijsregel per kanaal, Bestemming: marketplacefeed
Hoe WISEPIM helpt
- Productimport bewaart je kolommapping per bron, zodat je ziet welk bestandsveld welk attribuut vult.
- Operation history toont bulkbewerkingen op je catalogus, en op betaalde abonnementen kun je er een ongedaan maken.
- Rollback Import draait een import terug die verkeerde data binnenbracht.
- Prijsregels per kanaal en Template Strings maken afgeleide waarden zichtbaar in plaats van ze te verstoppen in handmatige aanpassingen.
Veelgemaakte fouten met Data Lineage
- Waarden met de hand in het kanaal aanpassen, zodat bron en shop uit elkaar lopen zonder dat het ergens staat.
- Lineage één keer in een diagram vastleggen en het daarna nooit bijwerken.
- Alleen bijhouden wie een waarde wijzigde, niet waar die vandaan kwam.
- Meerdere systemen hetzelfde veld laten overschrijven zonder duidelijke eigenaar.
Tips voor Data Lineage
- Wijs per veld één bronsysteem aan, zoals het ERP voor prijs en het PIM voor omschrijvingen.
- Bewaar importmappings per leverancier en houd de originele bestanden.
- Vermijd handmatige aanpassingen in kanalen; wijzig de bron en laat de data opnieuw doorstromen.
- Begin met lineage voor de velden die de meeste fouten of juridische risico's geven.
Trends rondom Data Lineage
- Regelgeving zoals het Digital Product Passport vergroot de vraag naar herleidbare productdata.
- AI-gegenereerde content roept de vraag op welke tekst door een mens en welke door een model is geschreven.
- Datacatalogi en lineage-tools uit data engineering worden gekoppeld aan PIM- en ERP-systemen.
Tools voor Data Lineage
- WISEPIM (importmapping, Operation history en Rollback Import)
- Collibra
- Microsoft Purview
- OpenLineage met dbt of Airflow