Data Deduplication

Exact matching vereist dat elk teken in een veld, zoals een SKU of EAN, identiek is om een duplicaatmelding te activeren. Fuzzy matching gebruikt algoritmen om records te identificeren die waarschijnlijk hetzelfde zijn maar kleine verschillen vertonen, zoals 'iPhone 14' versus 'iPhone-14'. Fuzzy matching is effectiever voor het opsporen van menselijke fouten.

Dubbele producten veroorzaken keyword cannibalization, waarbij meerdere pagina's op uw site strijden om dezelfde zoektermen. Dit verwart zoekengines zoals Google, wat uw ranking kan schaden. Bovendien wordt de autoriteit van backlinks verspreid over meerdere URL's in plaats van gebundeld op één sterke pagina.

Je automatiseert dit door regelgebaseerde workflows in te stellen die geactiveerd worden zodra er nieuwe data wordt geïmporteerd of gewijzigd. Deze workflows gebruiken unieke identifiers zoals SKU of GTIN om dubbele records te signaleren en te blokkeren voordat ze je webshop of marktplaatsen bereiken.

Het voorkomt versnipperde voorraad waarbij hetzelfde fysieke product onder verschillende records wordt bijgehouden, wat leidt tot oververkoop of foutieve voorraadstanden. Door deze records samen te voegen, zorg je ervoor dat elke verkoop wordt afgeschreven van één centrale voorraadtelling.

Het is ideaal om deduplicatie uit te voeren in de staging fase, direct na de data-ingestie maar voordat de informatie in de live catalogus wordt gepubliceerd. Dit voorkomt dat kwalitatief slechte of overbodige data je Golden Record vervuilt en de klantervaring negatief beïnvloedt.

Ja, deduplicatie is het belangrijkste hulpmiddel om meerdere leveranciersfeeds te consolideren tot één enkel productrecord. Door verschillende artikelnummers van leveranciers te koppelen aan een gemeenschappelijke EAN of UPC, creëer je een uniform productoverzicht met de beste kenmerken uit elke bron.

Een veelgemaakte fout is het blindelings vertrouwen op automatische scripts zonder handmatige controle van de resultaten. Hierdoor kunnen unieke producten die veel op elkaar lijken, zoals verschillende maten of kleuren van hetzelfde kledingstuk, per ongeluk worden samengevoegd. Ook het negeren van kleine verschillen in artikelnummers door typefouten kan leiden tot het wissen van waardevolle informatie. Het is daarom cruciaal om eerst een testrun te doen op een subset van de data voordat u de volledige database definitief opschoont.

Gebruik een stapsgewijze aanpak waarbij u begint met exact matching op unieke identifiers zoals EAN- of SKU-codes. Pas daarna fuzzy matching toe voor subtielere verschillen. Stel altijd een master record in; dit is de bron die als leidend wordt beschouwd bij conflicterende informatie. Door een back-up te maken en een logboek bij te houden van alle samengevoegde records, kunt u eventuele fouten altijd herstellen en blijft de integriteit van uw productcatalogus gewaarborgd zonder dat er per ongeluk unieke details verdwijnen.

U kunt het succes meten aan de hand van de deduplicatieratio, wat het percentage verwijderde duplicaten ten opzichte van de totale dataset is. Een andere belangrijke KPI is de foutmarge: hoe vaak zijn unieke items onterecht als duplicaat gemarkeerd? Daarnaast wijzen een snellere zoekfunctie in de webshop en minder klantvragen over inconsistente productinformatie op een geslaagd proces. Uiteindelijk leidt een schone database tot een hogere conversie en lagere operationele kosten voor het beheer van uw productinformatie.

Meestal ligt de verantwoordelijkheid bij de Data Steward of de PIM-beheerder. De Data Steward bewaakt de algemene datakwaliteit en stelt de regels op voor het identificeren van dubbele gegevens. De PIM-beheerder voert de technische acties uit binnen de software. Bij grotere organisaties zijn ook de Category Managers betrokken; zij kennen de producten het beste en kunnen bij twijfelgevallen beoordelen of twee records daadwerkelijk hetzelfde artikel betreffen of dat er sprake is van verschillende varianten die behouden moeten blijven.

Stel dat u schoenen verkoopt en informatie ontvangt van twee verschillende leveranciers. Leverancier A noemt een model 'Nike Air Max 90 - Zwart', terwijl Leverancier B hetzelfde model omschrijft als 'Air Max 90 Black'. Zonder ontdubbeling verschijnen er twee aparte producten op uw site. Het PIM-systeem herkent dat de EAN-code voor beide hetzelfde is en voegt de beschrijvingen, afbeeldingen en voorraadgegevens samen tot één compleet record. Hierdoor ziet de klant één duidelijke pagina in plaats van twee identieke opties.

Hoewel ontdubbeling in PIM vaak over producten gaat, is het ook relevant voor klantgegevens. Volgens de AVG moeten persoonsgegevens accuraat en up-to-date zijn. Door dubbele klantprofielen samen te voegen, voorkomt u dat u marketingmails stuurt naar iemand die zich al heeft uitgeschreven via een ander profiel. Dit verkleint het risico op privacy-inbreuken en boetes. Bovendien helpt een gecentraliseerd record bij het sneller voldoen aan wettelijke verzoeken, zoals het recht op inzage of het recht om vergeten te worden.