Senior Test Manager & Quality Engineer 100% (f/m/d)

Aufgaben

• Stellen Sie sicher, dass die Qualität der Lieferungen und die ordnungsgemäße Durchführung von Tests für KI-Anwendungsfälle gewährleistet sind
• Definieren und weiterentwickeln Sie den technischen Testansatz und die Framework-Architektur für die ML- und KI-ART, die mit der Teststrategie und der Testrichtlinie der Bank abgestimmt ist
• Entwerfen Sie wiederverwendbare, skalierbare Testmuster (Seitenobjekte, API-Clients, Testdaten-Builder), die von anderen Ingenieuren in verschiedenen Squads übernommen werden können, um die technische Konsistenz der Tests über die ART hinweg sicherzustellen
• Analysieren und bewerten Sie Anforderungen, Funktionen und Geschichten hinsichtlich ihrer Testbarkeit während der PI-Planung, der Backlog-Verfeinerung und der Iterationsplanung
• Leiten Sie Testfälle aus technischer und risikobasierter Analyse von funktionalen und nicht-funktionalen Anforderungen (Zuverlässigkeit, Leistung, Sicherheit, Benutzerfreundlichkeit, Robustheit) ab und wählen Sie geeignete Testtechniken und Automatisierungsumfänge basierend auf Risiko, Abdeckungszielen und ROI aus
• Automatisieren Sie identifizierte Testfälle mithilfe von Python-basierten Frameworks - Playwright-Python für UI, requests + pytest-bdd für BDD/Gherkin - unter Anwendung von Clean-Code-Expertise, Wiederverwendbarkeit, Lesbarkeit und Stabilität
• Entwerfen und implementieren Sie KI/ML-spezifische Testfälle: Bewertungspipelines für LLM-Ausgaben
• Integrieren und orchestrieren Sie automatisierte Tests in GitLab-CI/CD-Pipelines, einschließlich Merge-Request-Pipelines und GitLab-Runner
• Planen, terminieren und auslösen Sie automatisierte Testdurchläufe in verschiedenen Umgebungen (DEV, INT, UAT, pre-PROD), einschließlich Regressions-Suiten, Smoke-Tests, Release-Durchläufe und On-Demand-Läufe, die an Merge-Requests und PI-Meilensteine geknüpft sind
• Treiben Sie die Ergebnisse der Durchläufe auf, melden Sie Fehler in JIRA mit Beweisen (Logs, Spuren, Screenshots, Videos) und kommunizieren Sie Qualitäts-signale an das Squad und den Product Owner
• Tragen Sie aktiv zu PI-Planung, System-Demos, Inspect & Adapt und anderen SAFe-Zeremonien bei, als Teil der ML- und KI-ART
• Bereiten Sie Testdaten vor, stellen Sie sicher, dass synthetische oder anonymisierte Daten verwendet werden, wo immer möglich, um die Vertraulichkeitserwartungen zu erfüllen

Anforderungen

• Praktische Erfahrung bei der Integration und Durchführung von Tests für KI-Lösungen und/oder große Datenprojekte
• Solides Verständnis von Git und Version-Control-Workflows, Clean-Code-Prinzipien und Code-Review-Kultur
• Arbeitskenntnisse von Docker; Vertrautheit mit Kubernetes-Grundlagen (Jobs, Namespaces)
• Exposition gegenüber der Erprobung von KI/ML-Systemen oder starke Motivation, diese Expertise zu entwickeln: Bewertung von LLM-Ausgaben, Umgang mit nicht-deterministischen Antworten, Bewertungen für RAG und agentic-Workflows
• Verständnis von API-Design, Microservices, event-getriebenen Architekturen und Authentifizierungsschichten
• Kollaborativer Teamplayer mit starker Eigenverantwortung, der Automatisierungsprobleme von der Analyse bis zur Ausführung bis zur Lösung mit minimaler Aufsicht übernimmt