Senior Data Engineer

Aufgaben

Die Hauptaufgaben umfassen:

• Implementierung von Methoden und Lösungen zur Verbesserung der Datenzuverlässigkeit und -qualität
• Zusammenarbeit mit Data Scientists und Data Analysts zur Entwicklung von Datenmodellen und -pipelines für Forschung, Berichterstattung und maschinelles Lernen
• Übernahme und Wartung der Datenplattform, um Stabilität, Leistung und kontinuierliche Verbesserung sicherzustellen

Anforderungen

Die Anforderungen für diese Position sind:

• 5+ Jahre Erfahrung in der Datenverarbeitung und Workflow-Management-Tools-Integration in die Pipeline-Design
• 5+ Jahre Erfahrung in ETL/ELT, Data-Warehousing und/oder Business-Intelligence-Entwicklung
• 5+ Jahre Erfahrung im Aufbau und Warten von End-to-End-Datensystemen und unterstützenden Diensten in Python, Scala oder ähnlich
• 5+ Jahre Erfahrung mit SQL, um Daten zu verstehen und Datenprobleme zu untersuchen und Lösungen bereitzustellen
• 3+ Jahre Erfahrung mit Cloud-Datentechnologien
• Erfahrung mit strukturierten, semi-strukturierten und unstrukturierten Daten
• Erfahrung mit verschiedenen Datenbanken, einschließlich Data-Warehouses, RDBMSes, In-Memory-Caches und Suchbaren Dokumentendatenbanken
• Erfahrung mit großen Datensätzen in SQL (Gatabricks/PySpark)
• Erfahrung mit Spark Streaming und Delta (Live)-Tabellen
• Erfahrung mit Speichersystemen wie Azure Storage/Data Lakes
• Erfahrung mit Datenmodellierung
• Starke Design-, Implementierungs- und Testfähigkeiten
• Erfahrung mit kontinuierlicher Integration und automatisierter Bereitstellung
• Erfahrung mit Cloud-Plattformen (vorzugsweise Azure) in einer kontinuierlichen Lieferumgebung

Präferierte Qualifikationen

Präferierte Qualifikationen sind:

• Erfahrung mit Microservices-Plattformen (Kubernetes, Docker, Helm Charts)
• Erfahrung mit Event-Driven-Streaming-Systemen (Kafka, Event Hub, Event Grid, Apache Flink)
• Kenntnisse und Anwendung von OBT
• Erfahrung mit Datenvalidierung sowie
• Erfahrung mit BI-Tools
• 1+ Jahre Software-Entwicklung mit Sprachen wie JavaScript, Java oder C#
• Fähigkeit, technische Führung für andere Entwickler zu übernehmen

Wir bieten

Wir bieten eine herausfordernde und interessante Arbeitsumgebung, in der Sie Ihre Fähigkeiten und Erfahrungen einsetzen können, um zum Erfolg unseres Unternehmens beizutragen.