Senior Data Engineer

Aufgaben

Die Hauptaufgaben umfassen:

• Implementierung von Methoden und Lösungen zur Verbesserung der Datenzuverlässigkeit und -qualität
• Zusammenarbeit mit Data Scientists und Data Analysts zur Entwicklung von Datenmodellen und -pipelines für Forschung, Berichterstattung und maschinelles Lernen
• Übernahme und Wartung der Datenplattform, um Stabilität, Leistung und kontinuierliche Verbesserung sicherzustellen

Anforderungen

Die Anforderungen für diese Position sind:

• 5+ Jahre Erfahrung in der Datenverarbeitung und Workflow-Management-Tools-Integration in die Pipeline-Entwicklung
• 5+ Jahre Erfahrung in ETL/ELT, Data-Warehousing und/oder Business-Intelligence-Entwicklung
• 5+ Jahre Erfahrung im Aufbau und Warten von End-to-End-Datensystemen und unterstützenden Diensten in Python, Scala oder ähnlichen Sprachen
• 5+ Jahre Erfahrung mit SQL, um Daten zu verstehen und Datenprobleme zu untersuchen und Lösungen bereitzustellen
• 2+ Jahre Erfahrung mit Cloud-Datentechnologien
• Erfahrung mit strukturierten, semi-strukturierten und unstrukturierten Daten
• Erfahrung mit verschiedenen Datenbanken, einschließlich Data-Warehouses, RDBMSes, In-Memory-Caches und durchsuchbaren Dokumentendatenbanken
• Erfahrung mit großen Datenmengen in SQL (Gatabricks/PySpark)
• Erfahrung mit Spark Streaming und Delta (Live)-Tabellen
• Erfahrung mit Speichersystemen wie Azure Storage/Data Lakes
• Erfahrung mit Datenmodellierung
• Starke Design-, Implementierungs- und Testfähigkeiten
• Erfahrung mit kontinuierlicher Integration und automatisierter Bereitstellung
• Erfahrung mit Cloud-Plattformen (vorzugsweise Azure) in einer kontinuierlichen Lieferumgebung

Präferierte Qualifikationen

Präferierte Qualifikationen sind:

• Erfahrung mit Microservices-Plattformen (Kubernetes, Docker, Helm Charts)
• Erfahrung mit Event-Driven-Streaming-Systemen (Kafka, Event Hub, Event Grid, Apache Flink)
• Kenntnisse und Anwendung von OBT
• Erfahrung mit Datenvalidierung sowie
• Erfahrung mit BI-Tools
• 1+ Jahre Software-Entwicklung mit Sprachen wie JavaScript, Java oder C#
• Fähigkeit, technische Führung für andere Entwickler bereitzustellen

Wir bieten

Wir bieten eine herausfordernde und interessante Arbeitsumgebung, in der Sie Ihre Fähigkeiten und Erfahrungen einsetzen können, um zum Erfolg unseres Unternehmens beizutragen.