Ingegnere Data Ops

Descrizione del lavoro

La missione del team della piattaforma DataOps consiste nel garantire un livello di servizio affidabile per tutti i componenti tecnologici della piattaforma dati EFG (Databricks, Kafka, Spark, Elasticsearch, Apache MQ, stack uServices). Realizziamo e sviluppiamo la piattaforma CICD che supporta l'implementazione delle pipeline di dati e collaboriamo strettamente con i team di progetto per portare a termine le consegne.

Principali responsabilità

Man mano che la nostra piattaforma e il nostro panorama dei dati continuano a evolversi, desideriamo rafforzare il nostro team con un ingegnere CICD esperto, specializzato nell'implementazione di pipeline di dati. - Le aspettative in materia di qualità dei dati sono in costante aumento, con la necessità di garantire una fornitura di servizi estremamente stabile. Dobbiamo garantire che i nostri processi di erogazione siano controllati e visibili per i nostri stakeholder. - Cerchiamo qualcuno che si senta a proprio agio nel combinare Kafka, Spark e le operazioni Databricks con Python. - Attraverso il monitoraggio remoto delle nostre sedi, contribuirai in generale alla continuità e alla qualità delle nostre operazioni. - Assumiti la responsabilità dei servizi dati EFG (gestione delle modifiche, gestione della qualità, SLA, SOP), monitora e assicurati che le pipeline di dati critiche funzionino senza intoppi durante le ore asiatiche e fungi da referente principale per i problemi critici in un modello di assistenza "follow-the-sun". - Progetterai, implementerai e ottimizzerai i flussi di dati in modalità batch e streaming. - Seguirai e applicherai le pratiche CICD per automatizzare e snellire le implementazioni e le integrazioni. - Creerai, manterrai e migliorerai la documentazione e le procedure operative, per le quali è garantita la responsabilità operativa. - Collaborare con team interfunzionali per migliorare e verificare la governance delle operazioni di integrazione. - Mantenere standard elevati in termini di qualità dei dati, affidabilità e prestazioni. - Rimanere aggiornati sui progressi nella tecnologia di ingegneria dei dati e nella tecnologia delle pipeline di dati per supportare il miglioramento continuo.

Requisiti e qualifiche

- Almeno 5 anni di comprovata esperienza pratica nell'ingegneria dei dati e nell'implementazione di pipeline di dati basate su pratiche DevOps. - Esperienza con Python, SQL, PySpark e Databricks. - Solida esperienza con le principali piattaforme e processi CICD in ambienti ibridi (ad es. Azure DevOps, GitLab CI, GitHub Actions). - La familiarità con l'architettura dei microservizi, la gestione delle API e l'osservabilità costituisce un vantaggio. - Esperienza con Azure Databricks. - Buone capacità di comunicazione e collaborazione. - Rigoroso e metodico nella documentazione e nella creazione di processi. - Grande interesse per la convergenza, la normalizzazione e la riutilizzabilità. - Curioso, entusiasta e proattivo. - Appassionato di tecnologie di elaborazione dei dati, con un forte desiderio di imparare e crescere in un ambiente stimolante. - Ottima padronanza dell'inglese parlato e scritto; la conoscenza del francese è un plus.

I nostri valori

- Responsabilità: assumersi la responsabilità dei compiti e delle sfide, nonché impegnarsi nel miglioramento continuo. - Approccio pratico: agire in modo proattivo per fornire rapidamente risultati di alta qualità. - Passione: essere motivati e puntare all'eccellenza. - Orientamento alle soluzioni: attenzione ai risultati dei clienti e trattamento equo dei clienti con un approccio consapevole dei rischi. - Orientamento alla collaborazione: promozione della cooperazione e del lavoro di squadra. Collaborazione con spirito imprenditoriale.