Data Deduplication

DatabeheerOctober 11, 2026Intermediate niveau

Ontdubbelen (deduplicatie) is het vinden en verwijderen van dubbele productrecords op basis van identifiers, naam en attributen, zodat elk product één keer bestaat.

Hero image for Data Deduplication — concept illustration for e-commerce glossary — Image by WISEPIM · CC BY 4.0Download volledige resolutie

Wat is Data Deduplication?

Ontdubbelen (deduplicatie) is het opsporen en verwijderen van dubbele productrecords, zodat elk product maar één keer in je catalogus staat. Je vergelijkt records op identifiers zoals SKU, EAN of artikelnummer van de fabrikant, en op naam en attributen, en houdt één juist record over. Dubbele records ontstaan meestal als je hetzelfde leveranciersbestand twee keer importeert, feeds van meerdere leveranciers combineert of handmatig een product aanmaakt dat al bestond. Exacte matching vindt records met dezelfde identifier; fuzzy matching vindt bijna-gelijke records, zoals "Nike Air Max 90 wit" en "Nike Air Max 90 Wit 42". Dedupliceren is iets anders dan data opschonen, waarbij je fouten binnen een record herstelt, al doe je die twee vaak samen. In onze gids over ontdubbelen lees je stap voor stap hoe je matchingregels opzet.

Waarom Data Deduplication belangrijk is voor e-commerce

Dubbele producten verdelen voorraad, reviews en verkoopdata over meerdere records. Klanten zien hetzelfde artikel twee keer met verschillende prijzen, je rapporten tellen bestsellers te laag en marketplaces kunnen listings weigeren of verbergen. Met ontdubbelen houd je één record per product, zodat elk kanaal en elk rapport met dezelfde feiten werkt. Het probleem groeit met elke nieuwe leverancier en elke import. Dubbele records voorkomen op het moment dat data binnenkomt is veel goedkoper dan ze achteraf opruimen.

Voorbeelden van Data Deduplication

1Record A: EAN 8712345678906, Nike Air Max 90 Wit 42, Record B: EAN 8712345678906, Air Max 90 wit maat 42, Match: Exact, zelfde EAN
2Record A: Bosch boormachine GSB 18V-55, Record B: Bosch GSB18V-55 accuboormachine, Match: Fuzzy, zelfde artikelnummer anders geschreven
3Bron: Leveranciersbestand twee keer geïmporteerd, Gevolg: 1.200 producten dubbel aangemaakt, Oplossing: Matchen op SKU en bijwerken in plaats van aanmaken
4Bron: Twee leveranciers leveren dezelfde mok, Gevolg: Twee records met verschillende titels, Oplossing: Eén record houden en beide leverancierscodes bewaren

Data Deduplication infographic — Image by WISEPIM · CC BY 4.0Download volledige resolutie

Hoe WISEPIM helpt

Matchen bij import: De productimport van WISEPIM kan nieuwe regels matchen op een identifier zoals SKU, zodat een tweede import bestaande producten bijwerkt in plaats van kopieën aan te maken.
Rollback Import: Maakt een import toch ongewenste records aan, dan draai je die import terug.
Identifiers controleren: Controleer EAN- en GTIN-codes met de gratis EAN- en GTIN-validator voordat je ze als matchsleutel gebruikt.
Kwaliteitscontroles: Met Quality Guard-regels zie je onvolledige records, die vaak dubbel blijken te zijn.

Veelgemaakte fouten met Data Deduplication

Alleen op productnaam matchen, terwijl elke leverancier andere namen gebruikt.
Dubbele records verwijderen zonder te checken welk record de beste data of de ordergeschiedenis heeft.
De catalogus één keer opschonen en daarna niets doen om nieuwe dubbele records bij de import te voorkomen.
Fuzzy matching gebruiken zonder handmatige controle, waardoor verschillende varianten als één product worden gezien.

Tips voor Data Deduplication

Kies per bron één matchsleutel, zoals EAN of leveranciers-SKU, en maak die verplicht.
Normaliseer eerst je data: spaties weg, eenheden en hoofdletters gelijk, en match daarna.
Controleer fuzzy matches handmatig voordat je iets verwijdert of combineert.
Bewaar leverancierscodes op het record dat je houdt, zodat toekomstige imports blijven matchen.

Trends rondom Data Deduplication

AI-modellen die titels, attributen en afbeeldingen vergelijken om waarschijnlijke dubbele records te vinden.
Matchen op wereldwijde identifiers zoals GTIN, nu meer leveranciers die meeleveren.
Dubbele records controleren op het moment van importeren in plaats van in een jaarlijkse opruimactie.

Tools voor Data Deduplication

WISEPIM: Productimport met matching op identifiers, Rollback Import en Quality Guard-regels.
Akeneo of Salsify: PIM- en productcontentplatforms met functies voor datakwaliteit.
OpenRefine: Opensourcetool om rommelige data te clusteren en op te schonen.
SQL-scripts: Eigen query's om dubbele records direct in een database te vinden.

Gerelateerde termen

Canonical Data Model Circular Economy Data Model Cross-Border Trade (CBT) Attributen Data Mesh Feed Delta Processing Large Language Model (LLM) voor Productdata

Ook bekend als

ontdubbelendeduplicatiedubbele records verwijderen

Veelgestelde vragen

Ontdubbelen betekent dat je dubbele records uit een bestand of database haalt, zodat elk item één keer voorkomt. In e-commerce gaat het meestal om producten die twee keer in je catalogus of feed staan. Je houdt één juiste versie over en verwijdert of koppelt de rest.

Bij deduplicatie zoek je records die hetzelfde product beschrijven. Bij data opschonen herstel je fouten binnen een record, zoals spelfouten, verkeerde eenheden of lege velden. Vaak doe je eerst een opschoonronde, omdat schone data dubbele records makkelijker vindbaar maakt.

Exacte matching ziet records alleen als dubbel als een veld precies gelijk is, zoals dezelfde EAN. Fuzzy matching berekent hoe sterk records op elkaar lijken en vindt zo ook typfouten en afkortingen. Begin met exacte matching op identifiers en gebruik fuzzy matching voor records zonder betrouwbare code.

Het beste moment is bij de import: match nieuwe regels op SKU of EAN en werk het bestaande product bij in plaats van een nieuw product aan te maken. Controleer daarnaast regelmatig je hele catalogus, want handmatige invoer en nieuwe leveranciers brengen steeds nieuwe dubbele records mee.

Nog vragen?

Kan je het antwoord niet vinden? Neem contact op met ons team.

Contact opnemen