Responsabile senior dei test e ingegnere della qualità a tempo pieno (f/m/d)

Compiti

• Assicurarsi che la qualità delle forniture e il corretto svolgimento dei test per i casi d'uso dell'IA siano garantiti
• Definire e sviluppare ulteriormente l'approccio tecnico ai test e l'architettura del framework per l'ART nel campo del ML e dell'IA, in linea con la strategia e le linee guida di test della banca
• Progettate modelli di test riutilizzabili e scalabili (oggetti di pagina, client API, generatori di dati di test) che possano essere adottati da altri ingegneri delle squadre, al fine di garantire la coerenza tecnica dei test nell'ambito dell'ART
• Analizzate e valutate i requisiti, le funzionalità e le storie in base alla loro testabilità durante la pianificazione del PI, l'affinamento del backlog e la pianificazione delle iterazioni
• Derivate i casi di test dall'analisi tecnica e basata sul rischio dei requisiti sia funzionali che non funzionali (affidabilità, prestazioni, sicurezza, usabilità, robustezza) e selezionate le tecniche di test e i livelli di automazione adeguati in base al rischio, agli obiettivi di copertura e al ROI
• Automatizzate i casi di test identificati utilizzando framework basati su Python – Playwright/Python per le interfacce utente e le richieste + Pytest o Pytest-BDD per BDD/Gherkin – puntando su codice pulito, riutilizzabilità, leggibilità e stabilità
• Progettare e implementare casi di test specifici per l'IA/ML: pipeline di valutazione per i risultati dei modelli di linguaggio di grandi dimensioni (LLM)
• Integrate e coordinate i test automatizzati nelle pipeline CI/CD di GitLab, comprese le pipeline delle richieste di merge e i GitLab Runner
• Pianificate, programmate e avviate esecuzioni automatizzate dei test in diversi ambienti (DEV, INT, UAT, pre-PROD), comprese suite di regressione, smoke test, esecuzioni di release ed esecuzioni su richiesta, collegate a richieste di merge e milestone PI
• Analizzate i risultati dell'esecuzione, segnalate i difetti in JIRA corredandoli di prove (log, tracce, screenshot, video) e comunicate gli indicatori di qualità alla Squad e al Product Owner
• Contribuisci attivamente alla pianificazione PI, alle dimostrazioni dei sistemi, alle sessioni “Inspect & Adapt” e alle altre cerimonie SAFe, nell’ambito dell’ART ML e AI
• Preparare i dati di test, assicurandosi di utilizzare dati sintetici o anonimizzati, ove possibile, per soddisfare le aspettative in materia di riservatezza

Requisiti

• Esperienza pratica nell'integrazione e nell'esecuzione di test per soluzioni di intelligenza artificiale e/o progetti relativi ai big data
• Ottima conoscenza di Git e dei flussi di lavoro relativi al controllo delle versioni, dei principi di scrittura di codice pulito e della cultura della revisione del codice
• Conoscenza pratica di Docker; familiarità con i concetti di base di Kubernetes (job, namespace)
• Esperienza nell’utilizzo di sistemi di IA/ML o forte motivazione a sviluppare tali competenze: valutazione dei risultati dei modelli di linguaggio di grandi dimensioni (LLM), gestione delle risposte non deterministiche, problemi relativi al RAG e ai flussi di lavoro basati su agenti
• Conoscenza della progettazione delle API, dei microservizi, delle architetture basate sugli eventi e dei livelli di autenticazione
• Una persona capace di lavorare in squadra e con forte senso di responsabilità, in grado di affrontare i problemi di automazione dall'analisi all'esecuzione fino alla risoluzione con il minimo...