Deduplizierung (Data Deduplication)
Die Deduplizierung von Produktdaten findet und entfernt doppelte Produktdatensätze per Abgleich von Identifikatoren, Namen und Attributen, damit jedes Produkt nur einmal existiert.
Was ist Deduplizierung (Data Deduplication)?
Die Deduplizierung von Produktdaten ist der Prozess, doppelte Produktdatensätze zu finden und zu entfernen, damit jedes Produkt nur einmal in deinem Katalog existiert. Beim Deduplizieren werden Datensätze über Identifikatoren wie SKU, EAN oder Herstellerteilenummer sowie über Namen und Attribute verglichen, und ein korrekter Datensatz bleibt erhalten. Dubletten entstehen meist, wenn dieselbe Lieferantendatei zweimal importiert wird, wenn Feeds mehrerer Lieferanten zusammengeführt werden oder wenn ein Produkt von Hand angelegt wird, das schon existierte. Exaktes Matching findet Datensätze mit demselben Identifikator; Fuzzy Matching findet Beinahe-Treffer wie "Nike Air Max 90 wht" und "Nike Air Max 90 White". Deduplizierung unterscheidet sich von Datenbereinigung, die Fehler innerhalb von Datensätzen behebt, auch wenn beides oft zusammen passiert. Unser Leitfaden zur Deduplizierung erklärt die Abgleichsregeln Schritt für Schritt.
Warum Deduplizierung (Data Deduplication) im E-Commerce wichtig ist
Doppelte Produkte verteilen Bestand, Bewertungen und Verkaufsdaten auf mehrere Datensätze. Käufer sehen denselben Artikel zweimal zu unterschiedlichen Preisen, deine Reports unterschätzen Bestseller und Marketplaces lehnen Listings womöglich ab oder blenden sie aus. Die Deduplizierung sorgt für einen Datensatz pro Produkt, sodass jeder Kanal und jeder Report mit denselben Fakten arbeitet. Das Problem wächst mit jedem neuen Lieferanten und jedem Import. Dubletten zu verhindern, sobald Daten in den Katalog gelangen, ist weit günstiger, als sie später zu bereinigen.
Beispiele für Deduplizierung (Data Deduplication)
- 1Datensatz A: EAN 8712345678906, Nike Air Max 90 White 42, Datensatz B: EAN 8712345678906, Air Max 90 wht size 42, Treffer: Exakt, gleiche EAN
- 2Datensatz A: Bosch drill GSB 18V-55, Datensatz B: Bosch GSB18V-55 cordless drill, Treffer: Fuzzy, gleiche Herstellerteilenummer, anders geschrieben
- 3Quelle: Lieferantendatei zweimal importiert, Ergebnis: 1.200 Produkte doppelt angelegt, Lösung: Über SKU abgleichen und aktualisieren statt neu anlegen
- 4Quelle: Zwei Lieferanten liefern denselben Becher, Ergebnis: Zwei Datensätze mit unterschiedlichen Titeln, Lösung: Einen Datensatz behalten und beide Lieferantencodes speichern
So hilft WISEPIM
- Abgleich beim Import: Der Produktimport von WISEPIM kann eingehende Zeilen über einen Identifikator wie die SKU abgleichen, sodass ein zweiter Import bestehende Produkte aktualisiert, statt Kopien anzulegen.
- Rollback Import: Wenn ein Import trotzdem unerwünschte Datensätze anlegt, kannst du ihn rückgängig machen.
- Identifikatoren validieren: Prüfe EAN- und GTIN-Codes mit dem kostenlosen EAN- und GTIN-Validator, bevor du sie als Abgleichsschlüssel nutzt.
- Qualitätsprüfungen: Regeln in Quality Guard helfen dir, unvollständige Datensätze zu erkennen, die sich oft als Dubletten herausstellen.
Häufige Fehler bei Deduplizierung (Data Deduplication)
- Nur über Produktnamen abgleichen, die sich zwischen Lieferanten unterscheiden.
- Dubletten löschen, ohne zu prüfen, welcher Datensatz die besten Daten oder die Bestellhistorie enthält.
- Den Katalog einmal bereinigen und neue Dubletten beim Import nie verhindern.
- Fuzzy Matching ohne Prüfschritt nutzen, sodass unterschiedliche Varianten als ein Produkt behandelt werden.
Tipps zu Deduplizierung (Data Deduplication)
- Wähle pro Quelle einen Abgleichsschlüssel, etwa EAN oder Lieferanten-SKU, und mach ihn zum Pflichtfeld.
- Normalisiere Daten zuerst: Leerzeichen entfernen, Einheiten und Groß-/Kleinschreibung vereinheitlichen, dann abgleichen.
- Prüfe Fuzzy-Treffer von Hand, bevor du etwas entfernst oder zusammenführst.
- Behalte Lieferantencodes am verbleibenden Datensatz, damit künftige Importe weiterhin passen.
Trends rund um Deduplizierung (Data Deduplication)
- AI-Modelle, die Titel, Attribute und Bilder vergleichen, um wahrscheinliche Dubletten zu finden.
- Abgleich über globale Identifikatoren wie GTIN, da immer mehr Lieferanten sie mitliefern.
- Dublettenprüfung im Moment des Imports statt in jährlichen Aufräumaktionen.
Tools für Deduplizierung (Data Deduplication)
- WISEPIM: Produktimport mit Abgleich über Identifikatoren, Rollback Import und Regeln in Quality Guard.
- Akeneo oder Salsify: PIM- und Product-Experience-Plattformen mit Funktionen für Datenqualität.
- OpenRefine: Open-Source-Tool zum Clustern und Bereinigen unordentlicher Daten.
- SQL-Skripte: Eigene Abfragen, um Dubletten direkt in einer Datenbank zu finden.