Senior Data Engineer

Aufgaben

Die Aufgaben umfassen:

• Implementierung von Methoden und Lösungen zur Verbesserung der Datenzuverlässigkeit und -qualität
• Zusammenarbeit mit Data Scientists und Data Analysts zur Entwicklung von Datenmodellen und -pipelines für Forschung, Berichterstattung und maschinelles Lernen
• Übernahme und Wartung der Datenplattform, um Stabilität, Leistung und kontinuierliche Verbesserung sicherzustellen

Anforderungen

Die Anforderungen sind:

• 5+ Jahre Erfahrung in der Datenverarbeitung und Workflow-Management-Tools-Integration in die Pipeline-Entwicklung
• 5+ Jahre Erfahrung in ETL/ELT, Data-Warehousing und/oder Business-Intelligence-Entwicklung
• 5+ Jahre Erfahrung im Aufbau und Warten von End-to-End-Datensystemen und unterstützenden Diensten in Python, Scala oder ähnlichen Sprachen
• 5+ Jahre Erfahrung mit SQL, um Daten zu verstehen und Datenprobleme zu untersuchen und Lösungen bereitzustellen
• 2+ Jahre Erfahrung mit Cloud-Datentechnologien
• Erfahrung mit strukturierten, semi-strukturierten und unstrukturierten Daten
• Erfahrung mit verschiedenen Datenbanken, einschließlich Data-Warehouses, RDBMSes, In-Memory-Caches und durchsuchbaren Dokumentendatenbanken
• Erfahrung mit großen Datensätzen in SQL (Gatabricks/PySpark)
• Erfahrung mit Spark Streaming und Delta (Live)-Tabellen
• Erfahrung mit Speichersystemen wie Azure Storage/Daten-Seen
• Erfahrung mit Datenmodellierung
• Starke Design-, Implementierungs- und Testfähigkeiten
• Erfahrung mit kontinuierlicher Integration und automatisierter Bereitstellung
• Erfahrung mit Cloud-Plattformen (vorzugsweise Azure) in einer kontinuierlichen Lieferumgebung

Präferierte Qualifikationen

Präferierte Qualifikationen sind:

• Erfahrung mit Microservices-Plattformen (Kubernetes, Docker, Helm Charts)
• Erfahrung mit Event-Driven-Streaming-Systemen (Kafka, Event Hub, Event Grid, Apache Flink)
• Kenntnisse und Anwendung von OBT
• Erfahrung mit Datenvalidierung sowie
• Erfahrung mit BI-Tools
• 1+ Jahre Software-Entwicklung mit Sprachen wie JavaScript, Java oder C#
• Fähigkeit, technische Führung für andere Entwickler bereitzustellen

Wir bieten

Wir bieten:

• Die Gelegenheit, mit einem talentierten Team zusammenzuarbeiten und zum Wachstum und Erfolg unserer Organisation beizutragen

Person und Soziales

Person und Soziales:

• Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten
• Fähigkeit, autonom in einem globalen Team zu arbeiten und Initiativen mit einer positiven Einstellung zu übernehmen