Ingegnere Data Ops

Descrizione del lavoro

La missione del team della piattaforma DataOps consiste nel garantire un livello di servizio affidabile per tutti i componenti tecnologici della piattaforma dati EFG (Databricks, Kafka, Spark, Elasticsearch, Apache MQ, stack uServices). Realizziamo e sviluppiamo la piattaforma CI/CD che supporta l'implementazione delle pipeline di dati e collaboriamo strettamente con i team di progetto per garantire il raggiungimento dei risultati.

Principali responsabilità

Man mano che la nostra piattaforma e il nostro panorama dei dati continuano a evolversi, desideriamo rafforzare il nostro team con un ingegnere CI/CD esperto, specializzato nell'implementazione di pipeline di dati. - Le aspettative sulla qualità dei dati sono in costante aumento e dobbiamo garantire che i nostri processi di consegna siano controllati e visibili per i nostri stakeholder. - Cerchiamo qualcuno che si senta a proprio agio nel combinare le operazioni di Kafka, Spark e Databricks con Python. - Riducendo il nostro debito tecnico, contribuirai in modo significativo alla continuità e alla qualità delle nostre operazioni. - Assumetevi la responsabilità dei servizi dati (gestione del cambiamento, gestione della garanzia della qualità, SLA, SOP, tracciabilità e garanzia del funzionamento regolare delle pipeline di dati critiche durante l'orario asiatico, in qualità di referente principale per i problemi critici in un modello di supporto 24/7 "Follow-the-Sun". - Progetta, implementa e ottimizza le pipeline di dati in modalità batch e streaming. - Segui e applica le pratiche CICD per automatizzare e snellire le implementazioni e le integrazioni. - Crea, mantieni e migliora la documentazione e le procedure operative, per le quali è garantita la responsabilità operativa. - Collaborare con team interfunzionali per migliorare e verificare la governance delle operazioni di integrazione. - Mantenere standard elevati in termini di qualità dei dati, affidabilità e prestazioni. - Rimanere aggiornati sui progressi nell'ingegneria dei dati e nella tecnologia delle pipeline di dati per supportare il miglioramento continuo.

Requisiti e qualifiche

- Almeno 5 anni di esperienza pratica nell'ingegneria dei dati e nell'implementazione di pipeline di dati basate sulle pratiche DevOps. - Esperienza con Python, SQL, PySpark e Databricks. - Solida esperienza con le principali piattaforme e processi CICD in ambienti ibridi (ad es. Azure DevOps, GitLab CI, GitHub Actions). - La familiarità con l'architettura dei microservizi, la gestione delle API e l'osservabilità costituisce un vantaggio. - Esperienza con Azure Databricks. - Buone capacità di comunicazione e collaborazione. - Rigoroso e metodico nella documentazione e nella creazione di processi. - Grande interesse per la convergenza, la normalizzazione e la riutilizzabilità. - Curioso, entusiasta e proattivo. - Appassionato di tecnologie di elaborazione dei dati, con un forte desiderio di imparare e crescere in un ambiente stimolante. - Ottima padronanza dell'inglese parlato e scritto; la conoscenza del francese costituisce un vantaggio.

I nostri valori

- Responsabilità: assumersi la responsabilità dei compiti e delle sfide, nonché impegnarsi nel miglioramento continuo. - Approccio pratico: agire in modo proattivo per fornire rapidamente risultati di alta qualità. - Passione: essere motivati e puntare all'eccellenza. - Orientamento alle soluzioni: attenzione ai risultati dei clienti e trattamento equo degli stessi, con un approccio consapevole dei rischi. - Orientamento alla collaborazione: promozione della cooperazione e del lavoro di squadra. Collaborazione con spirito imprenditoriale.