Mit Microsoft Fabric hat Microsoft eine einheitliche, moderne Datenplattform geschaffen, die Analyse, Datenintegration, Governance und KI an einem Ort vereint. Ein zentrales Element davon sind die Fabric Pipelines – das Herzstück für automatisierte Datenprozesse.
Gerade für Unternehmen, die mit Microsoft Dynamics NAV, Navision oder Dynamics 365 Business Central arbeiten, eröffnen Pipelines neue Möglichkeiten: vom einfachen Laden operativer Daten über inkrementelle Updates bis hin zu vollautomatisierten End‑to‑End‑Datenprozessen.
In diesem Beitrag erfahren Sie verständlich und praxisnah, wie Fabric Pipelines funktionieren – und warum sie ein ideales Werkzeug für Dynamics‑Daten sind.
Was ist eine Pipeline in Microsoft Fabric?
Eine Pipeline ist ein automatisierter Workflow, der Daten zwischen Systemen bewegt, verarbeitet oder transformiert. Sie besteht aus einer Reihe von Aktivitäten, die in einer bestimmten Reihenfolge ausgeführt werden.
Typische Aktivitäten sind:
- Copy Activity – Überträgt Daten von einer Quelle in ein Ziel (z. B. von Business Central in ein Lakehouse).
- Dataflow Gen2 – Transformiert Daten ähnlich wie Power Query.
- Notebook Activity – Führe Spark‑Code aus, z. B. mit Python.
- Prozedurale Schritte – Schleifen, Bedingungen, Trigger.
Interne Dokumente betonen die zentrale Rolle von Pipelines zur Datenorchestrierung, insbesondere beim Kopieren von Daten und beim Monitoring über die Ausführung hinweg.
Wie ist eine Pipeline aufgebaut?
Eine Pipeline besteht aus diesen Kernkomponenten:
1. Aktivitäten (Activities)
Das sind die eigentlichen Arbeitsschritte. Jede Aktivität führt eine definierte Aufgabe aus – ähnlich wie Aufgaben in SSIS oder Workflows in Azure Data Factory.
2. Verbundene Dienste (Connections)
Verbindungen zu Datenquellen wie:
- Dynamics 365 Business Central
- Azure SQL
- Data Lakehouse
- Excel/CSV-Dateien aus NAV/BC‑Exporten
3. Datenpfade (Data Paths)
Sie definieren, wie Daten von A nach B fließen.
4. Monitoring & Logging
Fabric bietet ein integriertes Monitoring mit Erfolgs-/Fehlerstatus, Dauer und Pipeline‑Historie.
Dies wird in internen Dokumenten ebenfalls hervorgehoben, insbesondere das „Run and Monitor“-Konzept.
Wie läuft ein typischer Pipeline‑Prozess ab?
Hier ein Beispiel für eine typische Datenintegration aus Business Central (BC):
Schritt 1 – Pipeline erstellen
Im Fabric Data Factory Bereich wird eine neue Pipeline angelegt (wie intern erwähnt: Auswahl im Workspace, Pipeline erstellen).
Schritt 2 – Datenquelle definieren
Business Central erlaubt den Zugriff über:
- OData‑Endpoints
- API‑Pages
- Custom Extensions
- Export-Files (z. B. .csv, .xlsx) – häufig in NAV oder alten Navision‑Systemen im Einsatz
Schritt 3 – Copy Activity konfigurieren
Die Copy Activity wird genutzt, um Daten aus der Quelle ins Fabric Lakehouse oder Warehouse zu übertragen.
Es können dabei z. B. übertragen werden:
- Kunden (Customer)
- Artikel (Item)
- Buchungen (Ledger Entries)
- Verkaufsbelege (Sales Header/Lines)
Schritt 4 – Transformationen einbinden (optional)
Hier kommen Dataflows oder Notebooks ins Spiel.
Beispiele:
- Mapping von NAV‑Altstrukturen auf BC‑Strukturen
- Bereinigung von Dubletten
- Aufbau eines Sternschemas (Staging → Silver → Gold)
Ein internes Gespräch beschreibt dieses Medaillon‑Modell ausdrücklich (Bronze/Silver/Gold).
Schritt 5 – Pipeline ausführen & überwachen
Die Pipeline wird gestartet und im „Output“-Tab überwacht. Erfolgreiche Läufe erzeugen z. B. neue Dateien im Lakehouse, wie interne Dokumentation zeigt.
Pipelines in Microsoft Fabric sind ein mächtiges Werkzeug für alle Unternehmen, die Daten automatisiert bewegen, bereinigen und transformieren möchten. Besonders für Organisationen, die mit Microsoft Dynamics NAV, Navision oder Business Central arbeiten, bieten sie:
- zuverlässige Automatisierung
- flexible Datenquellen
- leistungsstarke Transformationen
- transparente Überwachung
- nahtlose Integration mit Power BI
Damit werden Pipelines zu einem essenziellen Baustein für moderne Datenarchitekturen – egal ob für ein neues BC‑Projekt, eine Migration oder die Integration historischer NAV-Daten.
Haben Sie noch Fragen oder möchten Sie mehr über unsere Methoden erfahren? Kontaktieren Sie uns – wir zeigen Ihnen, wie Sie Ihre Daten für nachhaltigen Erfolg nutzen können.