Fuzzy Matching

Exact matching vereist dat elk teken, elke spatie en elk symbool in twee reeksen identiek zijn. Fuzzy matching gebruikt algoritmen om een gelijkenisscore te berekenen, waardoor matches mogelijk zijn ondanks typefouten of verschillende schrijfwijzen. Voor e-commerce is fuzzy matching effectiever bij het samenvoegen van data van verschillende leveranciers.

Veelgebruikte algoritmen zijn de Levenshtein-afstand, die het aantal bewerkingen telt om de ene tekst in de andere te veranderen, en Jaro-Winkler, die meer gewicht geeft aan overeenkomsten aan het begin van een woord. Ook Soundex voor fonetische matching en N-gram analyse worden vaak toegepast.

Fuzzy matching maakt de zoekfunctie tolerant voor typefouten. Als een klant een verkeerd gespeld woord invoert, vindt het systeem op basis van gelijkenisscores toch het juiste product. Dit voorkomt pagina's zonder resultaten, verbetert de klantbeleving en verhoogt de conversie doordat klanten sneller vinden wat ze zoeken.

De juiste drempelwaarde wordt bepaald door een balans te vinden tussen nauwkeurigheid en bereik op basis van de kwaliteit van uw brondata. Een hoge score van bijvoorbeeld 90% minimaliseert foutieve koppelingen, terwijl een lagere score meer variaties herkent maar ook vaker een handmatige controle vereist om onjuiste matches te voorkomen.

Het is onmisbaar omdat verschillende leveranciers vaak uiteenlopende schrijfwijzen, afkortingen en formaten gebruiken voor exact hetzelfde product. Fuzzy matching herkent deze variaties automatisch, waardoor u sneller nieuwe assortimenten kunt mappen aan uw PIM-systeem zonder elke regel handmatig te hoeven controleren.

Zet fuzzy matching in zodra uw productcatalogus te groot wordt voor handmatige controle of wanneer u regelmatig data uit diverse bronnen combineert. Het bespaart aanzienlijk veel tijd door potentiële dubbele records in grote datasets direct te markeren, wat essentieel is voor een schone database.

Standaard fuzzy matching is gebaseerd op tekenreeksen en werkt het meest effectief binnen één taal. Voor meertalige productdata moet de techniek meestal worden aangevuld met vertaalmodules of semantische analyse om te begrijpen dat verschillende woorden in diverse talen naar hetzelfde object verwijzen.

Een veelgemaakte fout is het hanteren van een te lage drempelwaarde, waardoor totaal verschillende producten ten onrechte als matches worden gemarkeerd. Dit vervuilt je database. Ook het negeren van 'stopwoorden' zoals 'de', 'het' of 'met' kan de resultaten vertroebelen. Daarnaast vergeten veel gebruikers dat fuzzy matching rekenkracht kost; het blindelings toepassen op miljoenen records zonder voorafgaande filtering kan je systeem aanzienlijk vertragen en de prestaties van je PIM-systeem negatief beïnvloeden.

Voornamelijk data stewards en PIM-beheerders maken gebruik van deze techniek om de productcatalogus zuiver te houden. Zij stellen de regels en drempelwaarden in voor datakwaliteit. Daarnaast profiteren customer service medewerkers indirect van de techniek wanneer zij producten zoeken voor klanten. Ook de e-commerce manager heeft er baat bij, omdat schone data leidt tot een betere klantervaring en hogere conversieratio's door relevantere zoekresultaten en minder dubbele productvermeldingen op de webshop.

De effectiviteit wordt meestal gemeten aan de hand van de precisie en de recall. Precisie geeft aan hoeveel van de gevonden matches ook daadwerkelijk correct waren. Recall laat zien welk percentage van de werkelijke duplicaten door het systeem is gevonden. Een andere belangrijke indicator is de hoeveelheid handmatige correcties die nodig zijn na een automatische match-ronde. Hoe minder handwerk er overblijft voor de data-specialist, hoe beter de algoritmes en instellingen zijn afgestemd op de specifieke productdata.

Begin altijd met het normaliseren van je data voordat je de matching start. Dit betekent dat je alle tekst omzet naar kleine letters, leestekens verwijdert en eenheden uniform maakt, zoals overal 'cm' in plaats van 'centimeter'. Gebruik daarnaast 'blocking': groepeer producten eerst op categorie of merk. Hierdoor hoeft het systeem niet elk product met elk ander product te vergelijken, wat de kans op foutieve matches verkleint en de snelheid van het proces aanzienlijk verhoogt.

Hoewel er raakvlakken zijn, is het doel anders. Een spellingcontrole corrigeert woorden op basis van een vast woordenboek. Fuzzy matching kijkt puur naar de wiskundige afstand tussen twee tekstreeksen, zonder de betekenis van een woord te kennen. Het herkent dat "Leren bankstel bruin" en "Bruin bankstel leer" waarschijnlijk hetzelfde zijn, ook al staan de woorden in een andere volgorde. Het gaat dus verder dan alleen het herstellen van typefouten; het begrijpt tekstuele variaties in de breedste zin.