Lavoro Sql a distanza a Nuremberg, Bavaria

Homeoffice Remote: Data Engineer (m/w/d) - (Medallion Lakehouse Architektur) with verification

GULP – experts united · Nuremberg, Bavaria · Germany · Remote

About the job

Wir suchen für unseren Kunden einen erfahrenen Data Engineer (w/m/d). Dieser kümmert sich um den Aufbau einer neuen Datendrehscheibe unter Verwendung der Medallion Lakehouse Architecture und deren Integration mit Dashboards für Business Intelligenz.

Projektdetails

Laufzeit: asap - 31.03.25 (mit Option auf Verlängerung)

Auslastung: Fulltime

Das Projekt kann zu 100% Remote durchgeführt werden.

Lediglich vereinzelte Tage (zu wichtigen Meetings) wären vor Ort in Nürnberg abzuleisten.

 Projektbeschreibung

  • Entwurf, Entwicklung und Pflege skalierbarer Datenpipelines zur Einspeisung in Unternehmens-Dashboards.
  • Aufbau und Verwaltung einer neuen Datendrehscheibe auf der Grundlage der Medallion Lakehouse-Architektur zur Organisation und Strukturierung und Strukturierung von Daten für verschiedene Ebenen: Bronze (Rohdaten), Silber (bereinigte Daten) und Gold (aggregierte Daten).
  • Implementierung von ETL/ELT-Prozessen und Datenintegrations-Workflows.
  • Enge Zusammenarbeit mit Analysten, Datenwissenschaftlern und Geschäftsteams, um sicherzustellen, dass die Daten Daten verfügbar, genau und für die Analyse vorbereitet sind.
  • Umfassende Arbeit mit Azure Data Factory, einschließlich Kopieraktivitäten und Datenflüssen, um eine effiziente und nahtlose Datenbewegung zu gewährleisten.
  • Optimierung und Fehlerbehebung von Datenpipelines hinsichtlich Leistung, Skalierbarkeit und Datenzuverlässigkeit.
  • Entwerfen und implementieren Sie Datenlösungen für Dashboards, die Einblicke in Echtzeit bieten.

Skills

Erforderliche Qualifikationen:
  • Fachwissen im Bereich Data Engineering: Nachgewiesene Erfahrung im Aufbau und der Optimierung von Datenpipelines und Datenarchitekturen.
  • Gute Kenntnisse in Python für Datenmanipulation, Automatisierung und Skripterstellung. Fortgeschrittene SQL-Kenntnisse für Abfragen, Datentransformation und -optimierung.
  • Tiefes Verständnis der Azure-Cloud-Dienste
  • Azure Data Factory: Erfahrung in der Verwendung von Kopiervorgängen und Datenflüssen für die Datenumwandlung und Bewegung.
  • Erfahrung mit Medallion Lakehouse Architecture (Bronze, Silver, Gold) zur Strukturierung und Verwaltung großer Datenmengen.

Bevorzugte Qualifikationen
  • Erfahrung in der Arbeit mit Business Intelligence-Tools und Dashboards.
  • Kenntnisse in den Bereichen Data Warehousing, Data Lakes und Big Data-Technologien.
  • Erfahrung mit Cloud-basierten Datenplattformen, insbesondere in der Microsoft Azure-Umgebung.
  • Ausgeprägtes Verständnis von ETL/ELT-Prozessen und der Optimierung von Datenpipelines.
  • Ausgezeichnete Kommunikations- und Problemlösungsfähigkeiten
  • Erfahrung in agilen Arbeitsumgebungen und ein starkes praktisches, unterstützendes und kollaboratives Denkweise