Ingegnere Data Ops

Descrizione del lavoro

La missione del team della piattaforma DataOps consiste nel garantire un livello di servizio affidabile per ogni componente tecnologico della piattaforma dati EFG (Databricks, Kafka, Spark, Elasticsearch, Apache MQ, Stardust Stack). Realizziamo e sviluppiamo la piattaforma CICD che supporta le implementazioni delle pipeline di dati e collaboriamo strettamente con i team di progetto per portare a termine le consegne.

Compiti principali

Man mano che la nostra piattaforma e il nostro panorama dei dati continuano a evolversi, desideriamo rafforzare il nostro team con un ingegnere CICD esperto, specializzato nell’implementazione di pipeline di dati. Le aspettative in materia di qualità dei dati sono in costante aumento, con la necessità di garantire un’erogazione dei servizi estremamente stabile. Dobbiamo assicurarci che i nostri processi di erogazione siano controllati e visibili per i nostri stakeholder. - Siamo particolarmente interessati a una persona che abbia familiarità con Kafka, Spark e le operazioni Databricks in Python. - Rafforzando il nostro team, contribuirai in modo significativo alla continuità e alla qualità delle nostre operazioni. - Assumerai la responsabilità operativa di determinati servizi di dati (gestione delle modifiche, gestione della garanzia di qualità, SLA, SOP). - Monitorerete e garantirete il corretto funzionamento delle pipeline di dati critiche durante l’orario di lavoro asiatico, fungendo da referente principale per i problemi critici in un modello di assistenza “Follow-the-Sun”. - Progetterete, implementerete e ottimizzerete le pipeline di dati in modalità batch e streaming. - Seguire e applicare le pratiche CICD per automatizzare e snellire le distribuzioni e le integrazioni. - Creare, mantenere e migliorare la documentazione e le procedure operative di cui si è responsabili. - Collaborare in modo interfunzionale per migliorare e perfezionare la governance delle operazioni di integrazione. - Rispettare standard elevati in materia di qualità dei dati, affidabilità e prestazioni. - Tenersi aggiornati sui progressi nel campo del data engineering e della tecnologia DataOps per favorire il miglioramento continuo.

Requisiti e qualifiche

- Almeno 5 anni di esperienza pratica nell’ingegneria dei dati e nell’implementazione di pipeline di dati, nell’ambito delle pratiche DevOps. - Esperienza con Python, SQL, PySpark e Databricks. - Solida esperienza con le principali piattaforme e processi CICD in ambienti ibridi (ad es. Azure DevOps, GitLab CI, GitHub Actions). - La familiarità con l’architettura a microservizi, la gestione delle API e l’osservabilità costituisce un vantaggio. - Esperienza con Azure Databricks. - Buone capacità comunicative e di collaborazione. - Approccio rigoroso e metodico nella documentazione e nella definizione dei processi. - Grande interesse per la convergenza, la normalizzazione e la riutilizzabilità. - Curiosità, entusiasmo e proattività. - Passione per le tecnologie di elaborazione dei dati, con un forte desiderio di imparare e crescere in un ambiente stimolante. - Ottima padronanza dell’inglese scritto e parlato; la conoscenza del francese costituisce un vantaggio.

I nostri valori

- Responsabilità: assumersi la responsabilità dei compiti e delle sfide, nonché impegnarsi nel miglioramento continuo. - Approccio pratico: agire in modo proattivo per fornire rapidamente risultati di alta qualità. - Passione: essere motivati e puntare all'eccellenza. - Orientamento alle soluzioni: attenzione ai risultati dei clienti e trattamento equo degli stessi, con un approccio consapevole dei rischi. - Orientamento alla collaborazione: promozione della cooperazione e del lavoro di squadra. Collaborazione con spirito imprenditoriale.