Stellenangebot
DataOps Engineer
EFG International sucht einen DataOps Engineer in Singapur, der für die Integration, das Release und die Überwachung kritischer Datenpipelines im Rahmen eines Follow-the-Sun-Modells verantwortlich ist. Die Rolle erfordert fundierte Erfahrung in Python, SQL, CI/CD sowie mit Cloud-Plattformen wie Azure und Databricks.
Stellenbeschreibung
- Das DataOps-Team ist für die nahtlose Integration, Freigabe und Überwachung von mission-kritischen Datenpipelines und Workflows verantwortlich.
- Derzeit in Genf ansässig, erweitern wir unsere globale Präsenz durch den Aufbau einer virtuellen DataOps-Team-Präsenz in Singapur.
- Die Rolle berichtet an den lokalen IT-Leiter für Anwendungen und ist ein Schlüsselfaktor in unserem Follow-the-Sun-Unterstützungsmodell, um kontinuierliche Data Engineering und Observability, ETL, Batch- und Datenmanagement sicherzustellen.
- Unsere Datenplattform entwickelt sich zu einem konvergierteren Stack, der Datenströme und batch-basierte Lakehouse sowie ein auf Microservices basierendes Datenströmungsintegrationsmodell unterstützt, das die Entwicklung von CI/CD-Prozeduren unterstützt.
- Um diese Aktivität zu unterstützen, sind Python, SQL und CI/CD wesentliche Fähigkeiten. Diese Rolle erfordert einen erfahrenen und begeisterten Entwickler, der diese Technologien schätzt und weiß, wie man den operativen Teil einer ausgefeilten Datenmanagement- und Observability-Plattform baut, testet, bereitstellt und überwacht.
Hauptverantwortlichkeiten
- Operative Verantwortung für bestimmte Datenänderungen übernehmen (Change Management, Qualitätssicherung und andere IT-Verfahren).
- Die Betriebskontinuität kritischer Datenpipelines in der gesamten Gruppe unter Verwendung unserer On-Premise- und Cloud-Dienste verfolgen und sicherstellen.
- Datenpipelines im Batch- und Streaming-Modus entwerfen, implementieren und optimieren.
- CI/CD-Praktiken befolgen und anwenden, um Bereitstellungen und Integrationen zu automatisieren und zu rationalisieren.
- Dokumentation und Betriebsverfahren als Teil der Betriebsstandards erstellen, pflegen und verbessern.
- Mit funktionsübergreifenden Teams zusammenarbeiten, um Governance zu lösen und Integration und Datenmanagement zu verbessern.
- Hohe Standards für Datenqualität, Zuverlässigkeit und Leistung aufrechterhalten.
- Sich über Fortschritte im Data Engineering und im DataOps-Technologie-Stack auf dem Laufenden halten, um die kontinuierliche Verbesserung zu unterstützen.
Anforderungen und Qualifikationen
- Erfahrung in Data Engineering und Data Operations.
- Software Engineering Erfahrung mit Microservices, Messaging/Streaming Kafka, API-Integration, Stream Processing.
- Bewiesene praktische Erfahrung mit SQL, Python, PySpark und Databricks.
- Fundierte Kenntnisse von CI/CD-Plattformen und -Prozessen (z. B. Azure DevOps, GitLab usw.).
- Erfahrung mit Cloud-Datenplattformen (Azure bevorzugt).
- Nachgewiesene Fähigkeit, strenge, klare und umfassende Dokumentation und Kommunikation zu erstellen.
- Vertrautheit mit Datenbankdesign.
- Ausgezeichnete Problemlösungsfähigkeiten und Augenmaß für Details.
- Effektive Kommunikations- und Zusammenarbeitfähigkeiten.
Persönliche Eigenschaften
- Verantwortungsbewusst und zuverlässig, insbesondere während kritischer Betriebsperioden.
- Gründlich und methodisch in der Dokumentation und Prozessentwicklung.
- Motiviert und zielorientiert.
- Neugierig, enthusiastisch, kreativ und proaktiv.
- Begeistert für Analytics und Technologie, mit einem starken Wunsch zu lernen und zu wachsen.
- Fließend in gesprochener und geschriebener englischer Sprache.
Jobdetails