Erstellung einer Pipeline ist ein zeit- und ressourcenintensiver Prozess, vor allem sinnvoll für Unternehmen mit speziellen Anforderungen und sehr großen Datenmengen. Für andere Unternehmen kann oft auf Standardtools zurückgegriffen werden.
Die Ausgestaltung der Datenpipeline baut dabei auf den Ergebnissen der Initialmodellbildung der vorherigen Phase auf und vertieft diese Vorgänge. Zugehörige Informationen sind unter Datenbereinigung und Feature Engineering zu finden.
Identifizieren von Datenquellen
-Datenquellen identifizieren und verstehen
-Bestimmung von Format, Struktur und Speicherort der Daten
Datenintegration
-Extrahieren und Kombinieren von Daten
Datentransformation
-Bereinigung, Filterung, Aggregation, Zusammenführung und Anreicherung von Daten
-für Datenanalyse liegen Daten in gewünschtem Format und Struktur vor
Laden von Daten
-Laden der Daten in ein Zielsystem zur Speicherung, Analyse und Weiterverarbeitung
-Daten sind für Endnutzer verfügbar
Automatisierung und Zeitplanung
-Einrichtung von Automatisierungs- und Planungsmechanismen zur Ausführung der Pipeline zu bestimmten Ereignissen (bspw. zu festen Zeitpunkten)
Überwachung und Bewertung
-Festlegung von Metriken zur Modellüberwachung
-Festlegung von Benachrichtigungen bei Problemen oder Störungen