Data Profiling
Data profiling is een bestaande dataset analyseren om te zien wat erin staat: hoe compleet elk veld is, welke waarden en formaten voorkomen en waar fouten zitten.
Wat is Data Profiling?
Data profiling is het analyseren van een bestaande dataset om te zien wat er echt in staat: hoe compleet elk veld is, welke waarden en formaten voorkomen en waar dubbelingen en uitschieters zitten. Bij een productcatalogus laat profiling zien hoe je data ervoor staat voordat je gaat opschonen, verrijken of valideren. Een profiel beantwoordt vragen als "hoeveel producten hebben geen gewicht?" of "hoeveel schrijfwijzen van marineblauw zijn er?". Het verschilt van data validatie, dat elk record toetst aan vaste regels, en van data cleansing, dat de problemen oplost die profiling aan het licht brengt. Software voor data profiling doet deze tellingen automatisch, ook in grote tabellen. Wil je snel een eerste beeld van je eigen catalogus? Probeer de gratis productdatakwaliteit-calculator.
Waarom Data Profiling belangrijk is voor e-commerce
De meeste catalogi lijken per product in orde en laten hun problemen pas zien als je het geheel bekijkt: veel producten zonder omschrijving, nog meer zonder categorie, tien schrijfwijzen van hetzelfde merk. Profiling maakt die patronen zichtbaar, zodat je weet wat je eerst aanpakt en hoeveel werk een migratie of verrijking wordt. Zonder profiel gok je, en besteed je vaak tijd aan velden die minder belangrijk zijn dan de gaten die niemand heeft geteld.
Gratis tool
Bereken de datakwaliteit van één product
Vul titel, beschrijving, metavelden en attributen in. Je krijgt een totaalscore van 100, een score per categorie en de eerste verbeterpunten, op basis van de preset voor je branche.
Voorbeelden van Data Profiling
- 1Controle: volledigheid, Veld: Omschrijving, Bevinding: veel producten hebben helemaal geen omschrijving
- 2Controle: waardeverdeling, Veld: Kleur, Bevinding: "Navy", "marineblauw" en "Donkerblauw" voor dezelfde kleur
- 3Controle: formaat, Veld: GTIN, Bevinding: sommige codes zijn opgeslagen zonder voorloopnullen
- 4Controle: dubbelingen, Veld: Titel, Bevinding: hetzelfde product twee keer geïmporteerd onder twee SKU's
Hoe WISEPIM helpt
- Analytics voor datakwaliteit: zie de volledigheid per veld en per categorie in je hele catalogus.
- Quality Guard-regels: zet wat profiling heeft gevonden om in regels die hetzelfde probleem bij nieuwe producten markeren.
- Pagina Attribuutwaarden: vind schrijfvarianten van dezelfde waarde en schoon ze op.
- Bulkbewerking en AI-verrijking: vul de gaten uit een profiel op veel producten tegelijk.
Veelgemaakte fouten met Data Profiling
- Eén keer profileren voor een migratie en daarna nooit meer, zodat nieuwe problemen onopgemerkt blijven.
- Alleen naar volledigheid kijken en formaten, dubbelingen en schrijfvarianten negeren.
- De hele database in één keer profileren in plaats van per categorie, waardoor gaten per categorie verborgen blijven.
- Bevindingen verzamelen zonder af te spreken wie wat oplost.
Tips voor Data Profiling
- Profileer per categorie, want een bank heeft andere verplichte velden dan een trui.
- Begin met de velden die klanten en kanalen het meest gebruiken: titel, omschrijving, afbeeldingen, categorie en GTIN.
- Herhaal het profiel na elke grote import, zodat je nieuwe problemen vroeg ziet.
- Lees de gids over datavolledigheid om bevindingen om te zetten in doelen.
Trends rondom Data Profiling
- AI die profilingresultaten in gewone taal uitlegt en oplossingen voorstelt.
- Doorlopende profiling op live data in plaats van losse audits.
- Profiling in PIM- en datakwaliteitsdashboards in plaats van in losse tools.
- Profiling op basis van de eisen van AI-shoppingassistenten en marktplaatsen.
Tools voor Data Profiling
- WISEPIM: een PIM met analytics voor datakwaliteit en Quality Guard-regels voor productcatalogi.
- Talend Data Quality: software voor data profiling van databases en bestanden.
- Informatica Data Quality: tools voor profiling en opschonen in grote organisaties.
- OpenRefine: een gratis tool om rommelige spreadsheets te verkennen en op te schonen.
- Great Expectations: een opensourceframework dat data in pipelines profileert en test.