Senior Test Manager & Quality Engineer 100% (f/m/d)

Aufgaben

• Stellen Sie sicher, dass die Qualität der Lieferungen und die ordnungsgemäße Durchführung von Tests für AI-Anwendungsfälle gewährleistet sind
• Definieren und weiterentwickeln Sie den technischen Testansatz und die Framework-Architektur für die ML- und AI-ART, die mit der Teststrategie und der Testrichtlinie der Bank abgestimmt sind
• Entwerfen Sie wiederverwendbare, skalierbare Testmuster (Seitenobjekte, API-Clients, Testdaten-Builder), die andere Ingenieure in den Squads übernehmen können, um die technische Konsistenz der Tests über die ART hinweg sicherzustellen
• Analysieren und bewerten Sie Anforderungen, Funktionen und Geschichten hinsichtlich ihrer Testbarkeit während der PI-Planung, der Backlog-Verfeinerung und der Iterationsplanung
• Leiten Sie Testfälle aus technischer und risikobasierter Analyse sowohl funktionaler als auch nicht-funktionaler Anforderungen (Zuverlässigkeit, Leistung, Sicherheit, Benutzerfreundlichkeit, Robustheit) ab und wählen Sie geeignete Testtechniken und Automatisierungsumfänge basierend auf Risiko, Abdeckungszielen und ROI aus
• Automatisieren Sie identifizierte Testfälle mithilfe von Python-basierten Frameworks – Playwright/Python für Benutzeroberflächen, Anfragen + Pytest oder Pytest-BDD für BDD/Gherkin – unter Anwendung von sauberem Code, Wiederverwendbarkeit, Lesbarkeit und Stabilität
• Entwerfen und implementieren Sie AI/ML-spezifische Testfälle: Bewertungspipelines für LLM-Ausgaben
• Integrieren und orchestrieren Sie automatisierte Tests in GitLab CI/CD-Pipelines, einschließlich Merge-Request-Pipelines und GitLab-Runner
• Planen, terminieren und auslösen Sie automatisierte Testausführungen in verschiedenen Umgebungen (DEV, INT, UAT, pre-PROD), einschließlich Regressions-Suiten, Smoke-Tests, Release-Ausführungen und On-Demand-Läufen, die an Merge-Requests und PI-Meilensteine geknüpft sind
• Treiben Sie die Ausführungsergebnisse auf, erheben Sie Mängel in JIRA mit Beweisen (Protokollen, Spuren, Screenshots, Videos) und kommunizieren Sie Qualitäts-signale an den Squad und den Product Owner
• Tragen Sie aktiv zu PI-Planung, System-Demos, Inspect & Adapt und anderen SAFe-Zeremonien bei, als Teil der ML- und AI-ART
• Bereiten Sie Testdaten vor, stellen Sie sicher, dass synthetische oder anonymisierte Daten verwendet werden, wo immer möglich, um die Vertraulichkeitserwartungen zu erfüllen

Anforderungen

• Praktische Erfahrung bei der Integration und Ausführung von Tests für AI-Lösungen und/oder große Datenprojekte
• Solides Verständnis von Git und Version-Control-Workflows, sauberen Code-Prinzipien und Code-Review-Kultur
• Arbeitskenntnisse von Docker; Vertrautheit mit Kubernetes-Grundlagen (Jobs, Namespaces)
• Exposition gegenüber der Erprobung von AI/ML-Systemen oder starke Motivation, diese Expertise zu entwickeln: Bewertung von LLM-Ausgaben, Umgang mit nicht-deterministischen Antworten, Übel für RAG und agentische Workflows
• Verständnis von API-Design, Microservices, event-getriebenen Architekturen und Authentifizierungsschichten
• Kollaborativer Teamplayer mit starker Eigenverantwortung, der Automatisierungsprobleme von der Analyse bis zur Ausführung bis zur Lösung mit minimaler Aufs