Homeoffice Remote: Data Engineer (m/w/d) - (Medallion Lakehouse Architektur) with verification
GULP – experts united · Nuremberg, Bavaria, Germany · Remote
About the job
Projektdetails
Laufzeit: asap - 31.03.25 (mit Option auf Verlängerung)
Auslastung: Fulltime
Das Projekt kann zu 100% Remote durchgeführt werden.
Lediglich vereinzelte Tage (zu wichtigen Meetings) wären vor Ort in Nürnberg abzuleisten.
Projektbeschreibung
- Entwurf, Entwicklung und Pflege skalierbarer Datenpipelines zur Einspeisung in Unternehmens-Dashboards.
- Aufbau und Verwaltung einer neuen Datendrehscheibe auf der Grundlage der Medallion Lakehouse-Architektur zur Organisation und Strukturierung und Strukturierung von Daten für verschiedene Ebenen: Bronze (Rohdaten), Silber (bereinigte Daten) und Gold (aggregierte Daten).
- Implementierung von ETL/ELT-Prozessen und Datenintegrations-Workflows.
- Enge Zusammenarbeit mit Analysten, Datenwissenschaftlern und Geschäftsteams, um sicherzustellen, dass die Daten Daten verfügbar, genau und für die Analyse vorbereitet sind.
- Umfassende Arbeit mit Azure Data Factory, einschließlich Kopieraktivitäten und Datenflüssen, um eine effiziente und nahtlose Datenbewegung zu gewährleisten.
- Optimierung und Fehlerbehebung von Datenpipelines hinsichtlich Leistung, Skalierbarkeit und Datenzuverlässigkeit.
- Entwerfen und implementieren Sie Datenlösungen für Dashboards, die Einblicke in Echtzeit bieten.
Erforderliche Qualifikationen:
- Fachwissen im Bereich Data Engineering: Nachgewiesene Erfahrung im Aufbau und der Optimierung von Datenpipelines und Datenarchitekturen.
- Gute Kenntnisse in Python für Datenmanipulation, Automatisierung und Skripterstellung. Fortgeschrittene SQL-Kenntnisse für Abfragen, Datentransformation und -optimierung.
- Tiefes Verständnis der Azure-Cloud-Dienste
- Azure Data Factory: Erfahrung in der Verwendung von Kopiervorgängen und Datenflüssen für die Datenumwandlung und Bewegung.
- Erfahrung mit Medallion Lakehouse Architecture (Bronze, Silver, Gold) zur Strukturierung und Verwaltung großer Datenmengen.
- Erfahrung in der Arbeit mit Business Intelligence-Tools und Dashboards.
- Kenntnisse in den Bereichen Data Warehousing, Data Lakes und Big Data-Technologien.
- Erfahrung mit Cloud-basierten Datenplattformen, insbesondere in der Microsoft Azure-Umgebung.
- Ausgeprägtes Verständnis von ETL/ELT-Prozessen und der Optimierung von Datenpipelines.
- Ausgezeichnete Kommunikations- und Problemlösungsfähigkeiten
- Erfahrung in agilen Arbeitsumgebungen und ein starkes praktisches, unterstützendes und kollaboratives Denkweise