Data Lineage
Data Lineage ist der Nachweis, woher ein Datenelement stammt, welche Schritte es verändert haben und wohin es gegangen ist, von der Quelle bis zum endgültigen Ziel.
Was ist Data Lineage?
Data Lineage (Datenherkunft) ist der Nachweis, woher Daten kommen, wie sie sich unterwegs verändern und wo sie landen. Bei Produktdaten verfolgt sie einen Wert wie einen Preis oder eine Beschreibung von der Lieferantendatei über Import, Mapping und Anreicherung bis zum Webshop oder Marktplatz. Lineage beantwortet Fragen wie: Welche Datei hat dieses Gewicht gesetzt, welche Regel hat diesen Titel umgeschrieben, und welche Kanäle haben die Änderung erhalten? Sie ist eng verwandt mit Data Provenance, die sich auf den Ursprung der Daten konzentriert, während Lineage den gesamten Weg inklusive Transformationen abdeckt. Ein Audit Trail protokolliert, wer was geändert hat, Lineage verbindet diese Ereignisse zu einem Fluss. Sie ist ein zentraler Teil der Data Governance, denn Daten, die du nicht nachverfolgen kannst, kannst du weder korrigieren noch verteidigen.
Warum Data Lineage im E-Commerce wichtig ist
Produktdaten im E-Commerce gehen durch viele Hände: Lieferanten, ERP, PIM, Anreicherung, Feed-Tools und Kanäle. Taucht ein falscher Wert auf einer Produktseite auf, zeigt dir die Lineage, wo er hineingekommen ist und welchen Schritt du korrigieren musst, statt nur das Symptom an einer Stelle zu beheben. Lineage ist auch für Compliance wichtig. Regeln wie der EU Digital Product Passport (digitaler Produktpass) verlangen von Marken, zu zeigen, woher Produktinformationen stammen. Ein klarer Nachweis von Quellen und Änderungen macht diese Fragen leichter zu beantworten.
Beispiele für Data Lineage
- 1Wert: Produktgewicht 2,4 kg, Quelle: Lieferanten-CSV vom 3. März, Schritt: Einheit aus Gramm umgerechnet, Ziel: Shopify und Google Shopping
- 2Wert: Englischer Titel, Quelle: Name im ERP, Schritt: durch ein Titel-Template umgeschrieben, Ziel: Webshop
- 3Wert: Deutsche Beschreibung, Quelle: Englische Beschreibung, Schritt: AI-Übersetzung, Ziel: deutsche Storefront
- 4Wert: Angebotspreis, Quelle: Grundpreis, Schritt: Preisregel pro Kanal, Ziel: Marktplatz-Feed
So hilft WISEPIM
- Der Produktimport speichert dein Spalten-Mapping pro Quelle, sodass du siehst, welches Dateifeld welches Attribut befüllt.
- Die Operation History (Änderungsverlauf) listet Massenoperationen in deinem Katalog auf, und in kostenpflichtigen Plänen kannst du eine davon rückgängig machen.
- Rollback Import (Import zurücksetzen) macht einen Import rückgängig, der falsche Daten gebracht hat.
- Preisregeln pro Kanal und Template Strings (Textvorlagen) machen abgeleitete Werte sichtbar, statt sie in manuellen Änderungen zu verstecken.
Häufige Fehler bei Data Lineage
- Werte im Kanal von Hand bearbeiten, sodass Quelle und Shop ohne Nachweis auseinanderdriften.
- Lineage einmal in einem Diagramm dokumentieren und nie aktualisieren.
- Nur nachverfolgen, wer einen Wert geändert hat, nicht woher der Wert kam.
- Mehrere Systeme dasselbe Feld überschreiben lassen, ohne klaren Verantwortlichen.
Tipps zu Data Lineage
- Lege für jedes Feld ein System als Quelle fest, etwa das ERP für Preise und das PIM für Beschreibungen.
- Pflege Import-Mappings pro Lieferant und bewahre die Originaldateien auf.
- Vermeide manuelle Änderungen in Kanälen: Ändere die Quelle und lass die Daten erneut fließen.
- Starte die Lineage mit den Feldern, die die meisten Fehler oder rechtlichen Risiken verursachen.
Trends rund um Data Lineage
- Regulierung wie der digitale Produktpass erhöht die Nachfrage nach rückverfolgbaren Produktdaten.
- AI-generierte Inhalte werfen die Frage auf, welchen Text ein Mensch und welchen ein Modell geschrieben hat.
- Datenkataloge und Lineage-Tools aus dem Data Engineering werden mit PIM- und ERP-Systemen verbunden.
Tools für Data Lineage
- WISEPIM (Import-Mapping, Operation History und Rollback Import)
- Collibra
- Microsoft Purview
- OpenLineage mit dbt oder Airflow