Ratgeber Datenqualität: Dubletten-Bereinigung
Praktische Strategien, konkrete Schritte und Best Practices für Dubletten-Bereinigung im E-Commerce.
Dubletten-Bereinigung heißt, doppelte Produktdatensätze in deinem Katalog zu finden, zusammenzuführen und künftig zu verhindern. Dubletten haben viele Ursachen: Mehrere Lieferanten liefern dasselbe Produkt unter verschiedenen Namen, bei der manuellen Dateneingabe entstehen leicht abweichende Versionen desselben Artikels, Systemmigrationen bringen überlappende Datensätze mit, oder Marktplatz-Importe fügen Produkte hinzu, die es in deinem Katalog schon gibt. Bleiben Dubletten unbemerkt, zersplittern sie deine Bestandsdaten, verwirren Kunden mit widersprüchlichen Angeboten, verteilen die SEO-Stärke auf mehrere Seiten für dasselbe Produkt und machen Fulfillment und Reporting zum Albtraum.
Gute Dubletten-Bereinigung geht weit über eine Suche nach exakten Treffern hinaus. Echte Dubletten sind selten identisch. Meist haben sie leicht abweichende Titel, unterschiedlich formatierte Attribute, andere Bilder und uneinheitliche Identifikatoren. Eine robuste Dublettenprüfung braucht deshalb unscharfe Abgleichsverfahren (Fuzzy Matching), die wahrscheinliche Dubletten anhand einer gewichteten Ähnlichkeit über mehrere Felder erkennen, etwa Produktname, Marke, EAN/GTIN, Modellnummer, wichtige Spezifikationen und sogar Bildähnlichkeit. Die Kunst liegt in der Balance zwischen Sensitivität (möglichst viele echte Dubletten finden) und Spezifität (keine Fehltreffer, die verschiedene Produkte zusammenführen).
Eine umfassende Strategie gegen Dubletten hat drei Phasen: Erkennung (bestehende Dubletten finden), Auflösung (doppelte Datensätze zusammenführen oder verknüpfen) und Vorbeugung (neue Dubletten gar nicht erst entstehen lassen). Moderne PIM-Systeme wie WISEPIM unterstützen alle drei Phasen: mit Clustern doppelter EANs in den Analytics und von AI Quality Review markierten Beinahe-Dubletten, mit einem Katalog-Job, der ähnliche Produkte zu Varianten eines Elternprodukts macht, und mit CSV-Importen, die über SKU und EAN abgleichen und so bestehende Produkte aktualisieren, statt neue anzulegen. Wer Dubletten systematisch angeht, hält einen sauberen, verlässlichen Produktkatalog, der korrekte Bestände, ein einheitliches Kundenerlebnis und belastbare Auswertungen ermöglicht.
Auf einen Blick
Grundprinzipien: Dubletten-Bereinigung
Die wichtigsten Konzepte und Regeln für wirksame Ergebnisse
- 1
Dubletten über mehrere Felder erkennen
Ein einzelner Identifikator reicht nicht, um Dubletten zu finden, denn dasselbe Produkt hat je nach Quelle oft unterschiedliche Identifikatoren. Kombiniere mehrere Felder wie Produktname, Marke, EAN/GTIN, Modellnummer, wichtige Spezifikationen und sogar Bild-Hashes, um für mögliche Dublettenpaare einen Ähnlichkeitswert zu berechnen. Gewichte jedes Feld danach, wie zuverlässig es ein Produkt eindeutig kennzeichnet.
Gleiche über die EAN mit 95 % Konfidenz ab, prüfe bei Produkten ohne EAN aber auch Name + Marke + KategorieNutze Perceptual Hashing für Bilder, um optisch identische Produkte auch bei abweichenden Textdaten zu erkennenBerechne kombinierte Ähnlichkeitswerte: EAN-Treffer (40 %) + Namensähnlichkeit (25 %) + Markentreffer (20 %) + Überschneidung der Spezifikationen (15 %) - 2
Fuzzy-Matching-Algorithmen einsetzen
Exakter Zeichenkettenabgleich übersieht die allermeisten echten Dubletten. Setze Fuzzy-Matching-Algorithmen wie Levenshtein-Distanz, Jaro-Winkler-Ähnlichkeit, N-Gramm-Vergleich und TF-IDF-Kosinus-Ähnlichkeit ein, um Dubletten mit leicht abweichender Benennung, Abkürzungen oder Formatierung zu finden. Lege die Ähnlichkeitsschwellen sorgfältig fest, damit Trefferquote und Fehlalarme im Gleichgewicht bleiben.
Die Levenshtein-Distanz erkennt 'Samsung Galaxy S24 Ultra' und 'Samsung Galaxy S24Ultra' als wahrscheinliche DublettenDer N-Gramm-Vergleich stuft 'Mens Running Shoes Nike Air Max' und 'Nike Air Max Running Shoes for Men' als ähnlich einTF-IDF-Kosinus-Ähnlichkeit findet Produkte, deren Beschreibungen umgestellt, inhaltlich aber identisch sind - 3
Eine Strategie für den Masterdatensatz festlegen
Wenn du Dubletten findest, brauchst du eine klare Regel, welcher Datensatz zur maßgeblichen (primären) Version wird und was mit den Daten der übrigen Datensätze passiert. Lege fest, wie der Masterdatensatz gewählt wird: nach Datenqualität, Vollständigkeitswert, Zuverlässigkeit der Quelle oder Erstellungsdatum. Definiere Zusammenführungsregeln pro Feld, die bestimmen, wie die besten Daten jeder Dublette in den verbleibenden Datensatz übernommen werden.
Wähle den Datensatz mit dem höchsten Vollständigkeitswert als MasterproduktÜbernimm für jedes Attribut den Wert aus der verlässlichsten Quelle (z. B. Herstellerdaten vor Lieferantendaten)Behalte alle eindeutigen Bilder aus den Dubletten und füge sie der Bildergalerie des Masterprodukts hinzu - 4
Dubletten schon bei der Eingabe verhindern
Am günstigsten ist es, Dubletten gar nicht erst entstehen zu lassen. Prüfe beim Anlegen von Produkten, beim Import und bei der Übernahme von Lieferantendaten in Echtzeit auf Dubletten. Findet das System eine mögliche Dublette, weist es den Nutzer darauf hin und bietet an, die neuen Daten mit dem bestehenden Datensatz zu verknüpfen, statt ein neues Produkt anzulegen.
Zeige eine Warnung 'Mögliche Dublette gefunden', wenn jemand ein Produkt mit passender EAN oder ähnlichem Titel eingibtMarkiere beim CSV-Import Zeilen, die oberhalb einer einstellbaren Ähnlichkeitsschwelle zu bestehenden Produkten passenVerlange eine Bestätigung, bevor ein neues Produkt angelegt wird, wenn das System ähnliche bestehende Datensätze findet - 5
Jede Zusammenführung nachvollziehbar protokollieren
Jede Zusammenführung muss vollständig nachvollziehbar sein. Halte fest, welche Produkte zusammengeführt wurden, welches zum Master wurde, welche Feldwerte behalten oder verworfen wurden, wer die Zusammenführung freigegeben hat und wann. Dieses Protokoll brauchst du für die Fehlersuche, für Compliance und um Zusammenführungen rückgängig zu machen, wenn sich Fehler zeigen.
Protokolliere jede Zusammenführung mit einem Vorher-nachher-Snapshot beider Datensätze und des daraus entstandenen ProduktsHalte fest, wer jede Zusammenführung freigegeben hat und mit welchem Konfidenzwert die Dublette erkannt wurdeBiete eine Funktion 'Zusammenführung rückgängig machen', die die ursprünglichen Einzeldatensätze aus dem Protokoll wiederherstellt
Dubletten-Bereinigung einrichten
Eine Schritt-für-Schritt-Anleitung, mit der du diese Praxis für Datenqualität in deinem Shop umsetzt
- 1
Das Ausmaß der Dubletten erfassen
Bevor du eine Strategie gegen Dubletten umsetzt, solltest du das Problem beziffern. Durchsuche deinen Katalog zuerst nach exakten Treffern bei EAN/GTIN-Codes und danach per Fuzzy Matching nach Produktnamen innerhalb derselben Marke und Kategorie. Diese erste Bestandsaufnahme zeigt dir, wie viele Dubletten es gibt, welche Kategorien am stärksten betroffen sind und aus welchen Datenquellen die meisten stammen.
- Suche zuerst nach exakten EAN-Dubletten, denn das sind eindeutige Treffer, die du sofort auflösen solltest
- Führe einen Fuzzy-Namensabgleich innerhalb von Marke+Kategorie-Gruppen mit einer Ähnlichkeitsschwelle von 0,85 durch
- Analysiere die Herkunft der Dubletten, um systematische Ursachen zu finden (bestimmte Lieferanten, Importprozesse usw.)
- 2
Abgleichsregeln und Schwellenwerte konfigurieren
Lege die Kriterien fest, mit denen dein System mögliche Dubletten erkennt. Stelle Feldgewichte, Ähnlichkeitsalgorithmen und Konfidenzschwellen für jede Abgleichsstrategie ein. Lege getrennte Profile für verschiedene Fälle an: exakte Treffer bei Identifikatoren, Fuzzy-Treffer mit hoher Konfidenz und Kandidaten mit geringerer Konfidenz, die jemand manuell prüfen muss.
- Exakter EAN-Treffer: automatisch als Dublette mit 99 % Konfidenz markieren
- Gleiche Marke + Kategorie + Namensähnlichkeit > 0,90: als wahrscheinliche Dublette zur Prüfung markieren
- Gleiche Kategorie + Namensähnlichkeit > 0,80 + überlappende Spezifikationen: als mögliche Dublette zur genaueren Untersuchung markieren
- 3
Workflows für die Zusammenführung aufbauen
Lege strukturierte Workflows an, um gefundene Dubletten aufzulösen. Gestalte eine Ansicht, die mögliche Dublettenpaare nebeneinander zeigt, Unterschiede hervorhebt und für jedes Feld die Wahl des besten Werts erlaubt. Ermögliche Sammel-Zusammenführungen für Treffer mit hoher Konfidenz und manuelle Prüfwarteschlangen für unsichere Fälle.
- Vergleichsansicht, die alle Felder beider Dublettenkandidaten nebeneinander zeigt und Unterschiede hervorhebt
- Dubletten mit hoher Konfidenz (99 %+ Treffer auf der EAN) automatisch nach festgelegten Feldregeln zusammenführen
- Treffer mit mittlerer Konfidenz (85-99 %) mit empfohlener Aktion in eine Warteschlange zur manuellen Prüfung stellen
- 4
Vorbeugende Kontrollen einrichten
Richte eine Dublettenerkennung in Echtzeit ein, die bei jedem neu angelegten oder importierten Produkt läuft. Lass das System eingehende Datensätze anhand deiner Kriterien mit bestehenden Produkten abgleichen. Lege passende Reaktionen fest: blockieren, warnen oder eine Verknüpfung vorschlagen, je nach Konfidenz des Treffers.
- Das Anlegen eines Produkts blockieren, dessen EAN exakt mit einem bestehenden aktiven Produkt übereinstimmt
- Beim Anlegen eines Produkts mit passendem Muster aus Marke + Name einen Warnhinweis mit ähnlichen bestehenden Produkten zeigen
- Beim Import von Lieferantenfeeds mögliche Dubletten zur Prüfung zurückhalten, bevor sie in den Katalog gelangen
- 5
Regelmäßig nach Dubletten suchen
Plane wiederkehrende Prüfläufe, um Dubletten zu finden, die durch die vorbeugenden Kontrollen gerutscht sind oder mit der Zeit durch Datenänderungen entstehen. Führe monatlich einen vollständigen Prüflauf und wöchentlich gezielte Läufe durch (etwa in bestimmten Kategorien oder für neue Importe). Verfolge, wie viele neue Dubletten im Lauf der Zeit auftauchen, um zu messen, wie gut deine Vorbeugung wirkt.
- Wöchentlicher Abgleich der in den letzten 7 Tagen importierten Produkte mit dem gesamten Katalog
- Monatlicher Prüflauf über den ganzen Katalog mit schrittweise verfeinerten Abgleichsregeln
- Prüflauf, der automatisch nach jeder verarbeiteten Lieferantendatei startet
- 6
Überwachen und optimieren
Überwache laufend, wie gut deine Dubletten-Bereinigung funktioniert: Erkennungsrate, Fehlalarmquote, Erfolgsquote bei Zusammenführungen und die Zahl neu entstehender Dubletten. Nutze diese Erkenntnisse, um Algorithmen zu verfeinern, Schwellen anzupassen und die Vorbeugung zu verbessern. Teile Dubletten-Berichte mit deinen Lieferanten, um die Ursachen doppelter Daten an der Quelle anzugehen.
- Dashboard mit Trends bei der Dublettenerkennung, Auflösungsquoten und den größten Dubletten-Quellen
- Vierteljährliche Überprüfung der Schwellenwerte anhand einer Analyse von Fehlalarmen und übersehenen Dubletten
- Lieferanten-Scorecards, die zeigen, welche Lieferanten die meisten doppelten Produktdaten liefern
Best Practices: Dubletten-Bereinigung
Bewährte Dos and Don'ts, damit deine Arbeit an der Datenqualität das meiste bringt
- Machen
Nutze einen gewichteten Abgleich über mehrere Felder, der Identifikatoren, Produktnamen, Marke, Kategorie und Spezifikationen kombiniert, damit du Dubletten zuverlässig erkennst.
VermeidenVerlass dich nicht allein auf exakte EAN/GTIN-Treffer, denn so übersiehst du Dubletten mit abweichenden oder fehlenden Identifikatoren.
- Machen
Arbeite mit gestuften Konfidenzniveaus: eindeutige Treffer automatisch auflösen, unsichere Fälle von Menschen prüfen lassen.
VermeidenFühre nicht alle gefundenen Dubletten ohne Konfidenzwert automatisch zusammen, sonst verschmelzen versehentlich unterschiedliche Produkte.
- Machen
Führe ein vollständiges Protokoll aller Zusammenführungen mit Vorher-nachher-Snapshots und der Möglichkeit, sie rückgängig zu machen.
VermeidenLösche zweitrangige Datensätze bei der Zusammenführung nicht endgültig, ohne die Originaldaten oder den Verlauf festzuhalten.
- Machen
Verhindere Dubletten schon bei der Eingabe, indem du eingehende Daten mit bestehenden Produkten abgleichst, bevor neue Datensätze entstehen.
VermeidenLass das Anlegen von Produkten nicht unkontrolliert zu, um Dubletten dann nur über regelmäßige Aufräumläufe im Nachhinein zu finden.
- Machen
Lege klare Regeln für die Wahl des Masterdatensatzes fest, basierend auf Datenqualität, Vollständigkeit und Verlässlichkeit der Quelle, damit Zusammenführungen einheitlich ausfallen.
VermeidenEntscheide Zusammenführungen nicht von Fall zu Fall ohne feste Regeln, sonst schwankt die Datenqualität der verbleibenden Datensätze.
- Machen
Analysiere die Ursachen von Dubletten (bestimmte Lieferanten, Importprozesse, Eingabemuster) und beseitige sie systematisch.
VermeidenBehandle Dubletten nicht als reine Aufräumarbeit, ohne die Prozesse zu untersuchen und zu reparieren, die sie überhaupt erst erzeugen.
Tools für Dubletten-Bereinigung
Empfohlene Tools und WISEPIM-Funktionen, mit denen du das in die Praxis umsetzt
WISEPIM doppelte SKUs und EANs
Die Analytics fassen Produkte mit derselben EAN zu Dubletten-Clustern zusammen, sodass du jeden Cluster und die Produkte darin siehst. SKUs sind innerhalb eines Projekts bereits eindeutig, dieselbe SKU kann also nicht zweimal angelegt werden. Lege direkt aus dem Panel eine Quality Guard-Regel an, die die nächste doppelte EAN beim Export abfängt.
Mehr erfahrenBeinahe-Dubletten in AI Quality Review
AI Quality Review markiert Beinahe-Dubletten: Produkte derselben Marke in derselben Kategorie, deren Namen und Inhalte so ähnlich sind, dass sie wie ein Artikel mit einem einzigen geänderten Attribut wirken. Jeder Cluster listet die betroffenen Produkte auf, damit dein Team entscheidet, was bleibt.
Ähnliche Produkte zu Varianten machen
Sind Beinahe-Dubletten eigentlich Varianten eines Produkts, gruppiert dieser Katalog-Job sie unter einem Elternprodukt und meldet die möglichen Dubletten, die er findet. Jede vorgeschlagene Gruppe wartet in der Prüfwarteschlange, bis jemand sie annimmt, ändert oder ablehnt.
Import-Abgleich über SKU und EAN
CSV-Importe gleichen eingehende Zeilen über SKU oder EAN mit bestehenden Produkten ab und aktualisieren das gefundene Produkt, statt ein zweites anzulegen. Lege in Quality Guard eine Eindeutigkeitsregel für die EAN mit dem Schweregrad Blockieren an, damit eine durchgerutschte Dublette nicht in deine Exporte gelangt.
Warnung bei doppelten Uploads
Beim Hochladen einer Datei warnt dich die Medienbibliothek, wenn es bereits eine Datei mit demselben Namen oder Inhalt gibt, sodass dasselbe Packshot nicht zweimal gespeichert wird.
Erfolg messen: Dubletten-Bereinigung
Die wichtigsten Kennzahlen und Zielwerte, mit denen du deinen Fortschritt verfolgst
Dublettenquote
Der Anteil der Produkte in deinem Katalog, die einen oder mehrere doppelte Datensätze haben. Das ist deine wichtigste Kennzahl für einen sauberen Katalog. Verfolge sie über die Zeit, um zu messen, wie gut Erkennung und Vorbeugung wirken.
Erkennungsgenauigkeit (Precision)
Der Anteil der markierten Dublettenpaare, die sich bei der Prüfung tatsächlich als Dubletten herausstellen. Eine hohe Precision heißt, dass deine Abgleichsregeln gut kalibriert sind und dein Team keine Zeit mit Fehlalarmen verliert.
Erkennungsabdeckung (Recall)
Der Anteil der tatsächlich vorhandenen Dubletten in deinem Katalog, den deine Abgleichsalgorithmen erkennen. Ein hoher Recall heißt, dass dein System die meisten Dubletten findet, statt sie durchrutschen zu lassen.
Vorbeugungsquote
Der Anteil möglicher neuer Dubletten, die schon bei der Eingabe (beim Anlegen oder Import) abgefangen werden, bevor sie Teil des aktiven Katalogs werden. Eine hohe Quote zeigt, dass deine Kontrollen an der Front wirken.
Bearbeitungszeit bis zur Auflösung
Die durchschnittliche Zeit von der Markierung eines Dublettenpaars bis zur Auflösung (zusammengeführt, verknüpft oder verworfen). Kürzere Zeiten deuten auf effiziente Workflows und klare Regeln hin.
Beispielszenario
Ein B2B-Teilehändler bereinigt Dubletten nach dem Zusammenführen von Lieferantenkatalogen
Stell dir einen Händler vor, dessen Katalog Zehntausende Industrieteile von ein paar hundert Lieferanten umfasst. Nachdem mehrere Lieferantenkataloge und ein alter ERP-Export übereinander geladen wurden, gibt es dasselbe Teil mehrfach: einmal unter der SKU des Lieferanten, einmal unter der internen, manchmal mit derselben EAN. Der Bestand verteilt sich auf mehrere Datensätze, B2B-Kunden finden in der Suche zwei Versionen eines Produkts, und manche bestellen die falsche.
Das Team startet mit den Dubletten-Clustern, die WISEPIM in seinen Analytics zur Datenqualität nach gemeinsamer EAN gruppiert anzeigt, und arbeitet sie Cluster für Cluster ab: den Datensatz wählen, der bleibt, Daten übernehmen, die nur der andere Datensatz hat, und den überzähligen entfernen. Teile ohne EAN werden über einen Filter auf Herstellerteilenummer und Marke geprüft. Für künftige Lieferantendateien wird der CSV-Import so eingestellt, dass er über SKU und EAN abgleicht und bestehende Produkte aktualisiert, statt neue anzulegen.
Erste Schritte: Dubletten-Bereinigung
Drei Schritte, mit denen du die Qualität deiner Produktdaten noch heute verbesserst
01
Dubletten erfassen und Abgleich konfigurieren
Durchsuche deinen Katalog in einem ersten Lauf, um das Ausmaß der Dubletten zu beziffern. Beginne mit exakten Treffern bei Identifikatoren (EAN, Herstellerteilenummer), um eindeutige Dubletten zu finden, und erweitere dann auf einen Fuzzy-Namensabgleich innerhalb von Marken- und Kategoriegruppen. Werte die Ergebnisse aus, um Muster zu erkennen: welche Kategorien am stärksten betroffen sind, welche Lieferanten die meisten Dubletten liefern und welche Eingabeprozesse die meisten Überschneidungen erzeugen. Konfiguriere mit diesen Erkenntnissen deine Abgleichsregeln mit passenden Feldgewichten, Ähnlichkeitsalgorithmen und Konfidenzschwellen.
02
Bestehende Dubletten auflösen und Workflows einrichten
Arbeite gefundene Dubletten in Stufen nach Konfidenz ab. Führe Treffer mit hoher Konfidenz automatisch nach festgelegten Regeln für Masterdatensatz und Felder zusammen. Leite Treffer mit mittlerer Konfidenz in eine Prüfwarteschlange, in der Produktexperten die Datensätze nebeneinander vergleichen und entscheiden: zusammenführen, verknüpfen oder verwerfen. Sorge bei jeder Zusammenführung dafür, dass Bestände zusammengelegt, die Bestellhistorie erhalten, URLs umgeleitet und ein vollständiges Protokoll geführt wird. Nimm dir zuerst die Dubletten-Cluster mit der größten Wirkung vor: Bestseller, Seiten mit viel Traffic oder Abweichungen im Bestand.
03
Vorbeugung einrichten und laufend überwachen
Richte an jedem Eingangspunkt eine Dublettenprüfung in Echtzeit ein: beim manuellen Anlegen von Produkten, bei CSV- und Excel-Importen, bei Lieferantenfeeds und beim Marktplatz-Sync. Lege für jedes Konfidenzniveau eine passende Reaktion fest: eindeutige Dubletten blockieren, bei wahrscheinlichen Treffern warnen und mögliche Treffer zur späteren Prüfung protokollieren. Plane wiederkehrende Prüfläufe über den Katalog, um Dubletten zu finden, die durch die Vorbeugung gerutscht sind. Überwache die wichtigsten Kennzahlen (Dublettenquote, Erkennungsgenauigkeit, Vorbeugungsquote) und verfeinere deine Regeln regelmäßig anhand von Fehlalarmen, übersehenen Dubletten und Feedback aus dem Team.
Leitfaden zur Dubletten-Bereinigung von Produktdaten
Lade unseren vollständigen Leitfaden herunter, mit dem du doppelte Produkte in deinem E-Commerce-Katalog findest, auflöst und künftig verhinderst. Mit Konfigurationen für Abgleichsalgorithmen, Vorlagen für Zusammenführungs-Workflows und Checklisten zur Vorbeugung.
- Vorlagen für den Abgleich über mehrere Felder mit empfohlenen Feldgewichten und Ähnlichkeitsschwellen für gängige Produkttypen
- Entscheidungsbaum für Zusammenführungen, mit dem dein Team festlegt, wann es mögliche Dublettenpaare zusammenführt, verknüpft oder verwirft
- Checkliste zur Vorbeugung von Dubletten für das Onboarding von Lieferanten, Importprozesse und das manuelle Anlegen von Produkten
- ROI-Rechner, der die operativen Kosten von Dubletten anhand deiner Kataloggröße und Dublettenquote beziffert
Häufige Fragen
Häufige Fragen zu Dubletten-Bereinigung
Weitere Themen zur Datenqualität
Weiter entdecken
Handverlesene nächste Schritte, um tiefer einzusteigen.
Bereit, die Qualität deiner Produktdaten zu verbessern?
WISEPIM hilft dir, die Datenqualität im ganzen Katalog mit KI-gestützten Tools zu messen, zu validieren und zu verbessern.