Ingegnere Data Ops

Descrizione del lavoro

La missione del team della piattaforma DataOps consiste nel garantire un livello di servizio affidabile per tutti i componenti tecnologici della piattaforma dati EFG (Databricks, Kafka, Spark, Elasticsearch, Apache MQ, stack uServices). Realizziamo e sviluppiamo la piattaforma CICD che supporta l’implementazione delle pipeline di dati e collaboriamo strettamente con i team di progetto per portare a termine le consegne.

Compiti principali

Man mano che la nostra piattaforma e il nostro panorama dei dati si evolvono, desideriamo potenziare il nostro team con un ingegnere CICD esperto, specializzato nell’implementazione di pipeline di dati. - Le aspettative in materia di qualità dei dati sono in costante aumento ed è necessario garantire una fornitura stabile dei servizi. Dobbiamo assicurarci che i nostri processi di consegna siano controllati e accettabili per i nostri stakeholder. - Cerchiamo una persona che abbia dimestichezza con Python nella gestione delle operazioni relative a Kafka, Spark e Databricks. - Rafforzando il nostro team, contribuirai in modo significativo alla continuità e alla qualità delle nostre operazioni. - Questa posizione prevede la responsabilità di specifici servizi di dati (gestione delle modifiche, monitoraggio dello stato di salute, SLA, SORP). - Monitorerete e garantirete il funzionamento senza intoppi delle pipeline di dati critiche durante l’orario di lavoro asiatico e fungerete da referente principale per i problemi critici nell’ambito di un modello di supporto di follow-up. - Progetterete, implementerete e ottimizzerete le pipeline di dati in modalità batch e streaming. - Seguire e applicare le pratiche CICD per automatizzare e snellire le distribuzioni e le integrazioni. - Creare, mantenere e migliorare la documentazione e le procedure operative, garantendone la titolarità operativa. - Collaborare con team interfunzionali per migliorare e verificare la governance delle integrazioni. - Rispettare standard elevati in materia di qualità, affidabilità, disponibilità e prestazioni dei dati. - Tenersi aggiornati sui progressi nella tecnologia di ingegneria dei dati e nello stack tecnologico DataOps per favorire il miglioramento continuo.

Requisiti e qualifiche

- Almeno 5 anni di esperienza pratica nell’ingegneria dei dati e nell’implementazione di pipeline di dati basate sulle pratiche DevOps. - Esperienza con Python, SQL, PySpark e Databricks. - Solida esperienza con una delle principali piattaforme e processi CICD in ambienti ibridi (ad es. Azure DevOps, GitLab CI, GitHub Actions). - La familiarità con l'architettura a microservizi, la gestione delle API e l'osservabilità costituisce un vero vantaggio. - Esperienza con Azure Databricks. - Buone capacità comunicative e di collaborazione. - Approccio rigoroso e metodico nella documentazione e nella definizione dei processi. - Grande interesse per la convergenza, la normalizzazione e la riutilizzabilità. - Curiosità, entusiasmo e proattività. - Passione per le tecnologie di elaborazione dei dati, con un forte desiderio di apprendere e crescere in un ambiente stimolante. - Ottima padronanza dell’inglese parlato e scritto; la conoscenza del francese costituisce un vantaggio.

I nostri valori

-

• Responsabilità: assumersi compiti e sfide e perseguire il miglioramento continuo.
• Pratico: applicazione pratica per ottenere rapidamente risultati di alta qualità.
• Appassionato: impegnato e alla ricerca dell'eccellenza.
• Orientamento alle soluzioni: attenzione ai risultati dei clienti e trattamento equo degli stessi, con un approccio consapevole dei rischi.
• Orientato alla collaborazione: För