Zum Hauptinhalt springen
Zurück zum E-Commerce-Lexikon

Data Ingestion

Datenmanagement und DatenqualitätStufe: Intermediate

Data Ingestion ist der Prozess, Daten aus Quellen wie Lieferantendateien, ERPs und APIs zu sammeln und zur Speicherung und Nutzung in ein zentrales System zu laden.

Image by · CC BY 4.0

Was ist Data Ingestion?

Data Ingestion (Datenaufnahme) ist der Prozess, Daten aus einer oder mehreren Quellen zu sammeln und in ein zentrales System zu laden, wo sie gespeichert, geprüft und genutzt werden. Im E-Commerce sind die Quellen Lieferantendateien, ERP-Exporte, APIs und Webseiten, das Ziel ist oft ein PIM oder ein Data Warehouse. Ingestion kann in Batches laufen (ein nächtlicher CSV-Import) oder als Stream (jede Änderung wird sofort gesendet). Sie ist der erste Schritt einer Datenpipeline: Datenintegration und Transformation folgen danach, wenn die aufgenommenen Datensätze zugeordnet, bereinigt und zusammengeführt werden. Bei Produktdaten heißt Ingestion meist, Produkte zu importieren aus Dateien oder URLs und jede Spalte einem Attribut zuzuordnen.

Warum Data Ingestion im E-Commerce wichtig ist

Jede Produktseite beginnt mit aufgenommenen Daten. Lässt der Ingestion-Schritt falsche Einheiten, kaputte Zeichen oder fehlende EANs durch, verbreiten sich diese Fehler in Shop, Feeds und Marktplätze, wo sie schwerer zu finden sind. Ein zuverlässiger Ingestion-Prozess entscheidet auch, wie schnell neue Produkte live gehen. Wenn Lieferantendateien nach Zeitplan geladen und beim Eingang geprüft werden, verbringt das Team seine Zeit mit Anreicherung statt mit Kopieren und Einfügen.

Beispiele für Data Ingestion

  • 1Quelle: CSV-Datei des Lieferanten, Methode: geplanter Batch-Import, Ziel: Produktdatensätze im PIM
  • 2Quelle: ERP-System, Methode: API-Abruf von SKUs, Preisen und Beständen, Ziel: PIM
  • 3Quelle: Produktseite des Herstellers, Methode: URL-Import, Ziel: Produktentwurf mit technischen Daten und Bildern
  • 4Quelle: Webshop-Bestellungen, Methode: Event-Stream, Ziel: Data Warehouse für Reporting
Image by · CC BY 4.0

So hilft WISEPIM

  • Produktimport lädt CSV-Dateien und Produkt-URLs und ordnet Spalten deinen Attributen zu.
  • Automations (Automatisierungen) mit Zeitplan-Triggern führen Importe stündlich, täglich, wöchentlich oder monatlich aus.
  • Quality-Guard-Regeln prüfen eingehende Produkte auf fehlende oder ungültige Werte.
  • Rollback Import (Import zurücksetzen) macht einen Import rückgängig, der falsche Daten geladen hat.

Häufige Fehler bei Data Ingestion

  • Daten ohne Validierung laden, sodass Fehler erst auf der Live-Website auffallen.
  • Einheiten und Formate aus verschiedenen Quellen in einem Feld mischen.
  • Einmalige manuelle Importe statt eines wiederholbaren, geplanten Prozesses.
  • Angereicherte Inhalte bei jedem Import mit rohem Lieferantentext überschreiben.

Tipps zu Data Ingestion

  • Lege Pflichtfelder und Formate fest, bevor du eine neue Quelle anbindest.
  • Entscheide pro Feld, ob ein Import bestehende Werte überschreiben darf.
  • Plane wiederkehrende Importe, statt Dateien von Hand hochzuladen.
  • Protokolliere jeden Import, damit du nachvollziehen kannst, woher ein Wert kam.

Trends rund um Data Ingestion

  • AI-gestützte Spaltenzuordnung, die für jedes Quellfeld das passende Zielattribut vorschlägt.
  • Ein Wechsel von Dateiübertragungen zu APIs und Webhooks für schnell wechselnde Daten wie Bestände.
  • Aufnahme unstrukturierter Quellen wie PDFs und Webseiten, nicht nur Tabellen.

Tools für Data Ingestion

  • WISEPIM (Produktimport und geplante Importe)
  • Fivetran
  • Airbyte
  • Apache Kafka
  • Talend

Verwandte Begriffe

Zugriffskontrolle im PIM (Access Control)Management von Attributabhängigkeiten (Attribute Dependency Management)AttributvererbungAttribut-MappingAttribut-Scoping

Auch bekannt als

DatenimportDaten ladenDatenaufnahme

Häufige Fragen

Es geht darum, Daten von dort, wo sie entstehen, in das System zu bringen, in dem du mit ihnen arbeitest. Für einen Webshop heißt das, Daten von Lieferanten, aus dem ERP und aus APIs an einen zentralen Ort wie ein PIM zu holen.

Ingestion bringt Rohdaten aus Quellen in ein Zielsystem. Integration führt Daten aus mehreren Quellen zu einem konsistenten Modell zusammen und gleicht sie ab. Ingestion kommt zuerst, Integration baut darauf auf.

Batch-Ingestion lädt Daten gebündelt nach Zeitplan, zum Beispiel eine nächtliche Lieferantendatei. Streaming-Ingestion sendet jede Änderung, sobald sie passiert. Für Produktinhalte reichen meist Batches, Bestand und Preis profitieren von schnelleren Updates.

Prüfe eingehende Datensätze gegen Regeln für Pflichtfelder, Formate und Einheiten, und stoppe oder markiere Datensätze, die durchfallen. Ordne jede Quellspalte einem festen Attribut zu, damit dieselben Daten immer am selben Ort landen.

Noch Fragen?

Keine passende Antwort gefunden? Melde dich bei unserem Team.

Support kontaktieren

Weiter entdecken

Handverlesene nächste Schritte, um tiefer einzusteigen.