Responsabile senior dei test e ingegnere della qualità a tempo pieno (f/m/d)

Compiti

• Assicurarsi che la qualità delle forniture e il corretto svolgimento dei test per i casi d'uso dell'IA siano garantiti
• Definire e sviluppare ulteriormente l'approccio tecnico ai test e l'architettura del framework per le tecnologie ML e AI, in linea con la strategia e le linee guida di test della banca
• Progettate modelli di test riutilizzabili e scalabili (oggetti di pagina, client API, generatori di dati di test) che possano essere adottati da altri ingegneri in diverse squadre, al fine di garantire la coerenza tecnica dei test nell'ambito dell'ART
• Analizzate e valutate i requisiti, le funzionalità e le storie in base alla loro testabilità durante la pianificazione del PI, l'affinamento del backlog e la pianificazione delle iterazioni
• Derivate i casi di test dall'analisi tecnica e basata sul rischio dei requisiti funzionali e non funzionali (affidabilità, prestazioni, sicurezza, usabilità, robustezza) e selezionate le tecniche di test e i livelli di automazione adeguati in base al rischio, agli obiettivi di copertura e al ROI
• Automatizzate i casi di test identificati utilizzando framework basati su Python — Playwright-Python per l'interfaccia utente, requests + pytest-bdd per BDD/Gherkin — applicando le competenze in materia di clean code, riutilizzabilità, leggibilità e stabilità
• Progettare e implementare casi di test specifici per l'IA/ML: pipeline di valutazione per gli output dei modelli di linguaggio di grandi dimensioni (LLM)
• Integrate e coordinate i test automatizzati nelle pipeline CI/CD di GitLab, comprese le pipeline delle richieste di merge e i GitLab Runner
• Pianificate, programmate e avviate cicli di test automatizzati in diversi ambienti (DEV, INT, UAT, pre-PROD), comprese suite di regressione, smoke test, cicli di rilascio ed esecuzioni su richiesta, collegati a richieste di merge e milestone PI
• Raccogli i risultati delle esecuzioni, segnala gli errori in JIRA fornendo prove (log, tracce, screenshot, video) e comunica gli indicatori di qualità alla Squad e al Product Owner
• Contribuisci attivamente alla pianificazione PI, alle demo di sistema, alle sessioni “Inspect & Adapt” e alle altre cerimonie SAFe, come membro dell’ART ML e IA
• Preparare i dati di test, assicurandosi di utilizzare dati sintetici o anonimizzati, ove possibile, per soddisfare le aspettative in materia di riservatezza

Requisiti

• Esperienza pratica nell'integrazione e nell'esecuzione di test per soluzioni di intelligenza artificiale e/o progetti relativi ai big data
• Ottima conoscenza di Git e dei flussi di lavoro relativi al controllo delle versioni, dei principi del “clean code” e della cultura della revisione del codice
• Conoscenza pratica di Docker; familiarità con i concetti di base di Kubernetes (job, namespace)
• Esperienza nell'utilizzo di sistemi di IA/ML o forte motivazione a sviluppare tali competenze: valutazione dei risultati dei modelli di linguaggio di grandi dimensioni (LLM), gestione delle risposte non deterministiche, valutazioni relative a RAG e flussi di lavoro basati su agenti
• Conoscenza della progettazione delle API, dei microservizi, delle architetture basate sugli eventi e dei livelli di autenticazione
• Una persona capace di lavorare in squadra e con un forte senso di responsabilità, in grado di occuparsi di problemi di automazione dall’analisi all’esecuzione fino alla risoluzione, con una supervisione minima