Ingegnere Data Ops

Descrizione del lavoro

La missione del team della piattaforma DataOps consiste nel garantire un livello di servizio affidabile per tutti i componenti tecnologici della piattaforma dati EFG (Databricks, Kafka, Spark, Elasticsearch, Apache MQ, Sidences Stack). Realizziamo e sviluppiamo la piattaforma CICD che supporta l'implementazione delle pipeline di dati e collaboriamo strettamente con i team di progetto per garantire il raggiungimento dei risultati.

Compiti principali

In qualità di Data Ops Engineer, ti occuperai delle seguenti mansioni:

• Assumere la gestione operativa di servizi specifici relativi ai dati (gestione del cambiamento, gestione della qualità, SLA, SOP)
• Monitorare il corretto funzionamento dei flussi di dati critici durante l'orario di lavoro asiatico e fungere da referente principale per i problemi critici nell'ambito di un modello di assistenza "follow-the-sun"
• Progettare, implementare e ottimizzare pipeline di dati in modalità batch e streaming
• Utilizzare le pratiche CICD per automatizzare e ottimizzare le distribuzioni e le integrazioni
• Redigere, aggiornare e migliorare la documentazione e le procedure operative relative ai servizi acquisiti
• Collaborare con team interfunzionali per migliorare e perfezionare la governance delle integrazioni
• Mantenere standard elevati in termini di qualità dei dati, affidabilità e prestazioni
• Tenersi aggiornati sui progressi compiuti nello stack tecnologico del data engineering e dei DataOps per favorire il miglioramento continuo

Requisiti e qualifiche

Cerchiamo un candidato con:

• Almeno 5 anni di esperienza nell'ingegneria dei dati e nell'implementazione di pipeline di dati con pratiche DevOps
• Conoscenza di Python, SQL, PySpark e Databricks
• Solida esperienza con le principali piattaforme e i processi CI/CD in ambienti ibridi (ad es. Azure DevOps, GitLab CI, GitHub Actions)
• La familiarità con l'architettura a microservizi, la gestione delle API e l'osservabilità costituisce un vantaggio
• Esperienza con Azure Databricks
• Buone capacità comunicative e di collaborazione
• Accurato e metodico nella documentazione e nella definizione dei processi
• Interesse per la convergenza, la normalizzazione e la riutilizzabilità
• Curioso, entusiasta e proattivo
• Appassionato di tecnologie per l'elaborazione dei dati, con un forte desiderio di imparare e crescere in un ambiente stimolante
• Ottima padronanza dell'inglese scritto e parlato; la conoscenza del francese costituisce un vantaggio

I nostri valori

Per noi è importante:

• Responsabilità: assumersi la responsabilità dei propri compiti e delle sfide e puntare al miglioramento continuo
• In pratica: essere proattivi per fornire rapidamente risultati di alta qualità
• Appassionato: essere impegnato ed eccellente
• Orientati alla soluzione: concentrarsi sui risultati dei clienti e trattarli in modo equo e consapevole dei rischi
• Orientato alla collaborazione: promuovere la cooperazione e il lavoro di squadra e operare con spirito imprenditoriale