Senior AI Test Automation Engineer

Aufgaben

• Continuously evolve our technical test automation approach and framework architecture for the ML & AI ART, aligned with the Bank's Test Strategy and Test Policy
• Design reusable, scalable test automation patterns (page objects, APIs clients, test data builders) that other engineers across squads can adopt, ensuring technical consistency of test automation across the ART
• Analysieren und evaluieren Anforderungen, Features und Stories für Testbarkeit während PI Planning, Backlog Refinement und Iteration Planning
• Testfälle aus technischer und Risikoanalyse von funktionalen und nicht-funktionalen Anforderungen (Zuverlässigkeit, Leistung, Sicherheit, Benutzerfreundlichkeit, Robustheit) ableiten und geeignete Testtechniken und Automatisierungsumfang basierend auf Risiko, Abdeckungszielen und ROI auswählen
• Identifizierte Testfälle mit Python-basierten Frameworks automatisieren - Playwright+Pytest für UI, requests + pytest für APIs, Behave oder pytest-bdd für BDD/Gherkin - unter Anwendung von Clean-Code-Prinzipien, Wiederverwendbarkeit, Lesbarkeit und Stabilität
• Design und Implementierung von A/M-spezifischen Testfällen: Evaluierungspipelines für LLM-Ausgaben
• Context-Tests (z.B. Pytest) für Plattform-APIs und Microservice-Grenzen erstellen und warten
• Automatisierte Tests in CI/CD-Pipelines integrieren und orchestrieren, einschließlich Merge-Anfragen (GitLab), GitLab CI/CD-Pipelines, Selenium Grid und BrowserStack
• Docker und Kubernetes verwenden, um isolierte, reproduzierbare Testumgebungen bereitzustellen
• Automatisierte Testausführungen planen, terminieren und auslösen, einschließlich Regressionssuiten, Smoke-Tests, Release-Ausführungen und On-Demand-Läufe, die an Merge-Anfragen und ML-Veröffentlichungen geknüpft sind
• Ausführungsgesundheit überwachen, flaky Testfälle untersuchen und isolieren und eine niedrige Falsch-Positiv-Rate aufrechterhalten, um QualitätsSignale vertrauenswürdig zu halten
• Ausführungsergebnisse triagieren, Fehler in Jira mit Beweisen (Logs, Spuren, Screenshots, Videos) melden und QualitätsSignale an das Squad, Product Owner und Test Manager kommunizieren
• Ausführungsbeweise (Laufmetadaten, Artefakte, Berichte) produzieren, die für Audit und Release-Governance geeignet sind, in Übereinstimmung mit der Testpolitik und den Aufbewahrungsanforderungen der Bank
• Aktiv an PI-Planung, Systemdesign, Inspect & Adapt und anderen SAFE-Zeremonien als Teil des ML & AI ART teilnehmen
• Sicherstellen, dass eine End-to-End-Traceability von Jira-Features und Stories → automatisierten Tests → Fehlern → Testergebnissen besteht, unter Nutzung der Testmanagement-Integration der Bank
• BDD-Szenarien in Gherkin verfassen und warten, die an Akzeptanzkriterien auf Stories geknüpft sind
• Eng mit Product Ownern, Scrum Mastern, ML-Ingenieuren, ML-Ops-Ingenieuren und Data-Ingenieuren aus verschiedenen Squads zusammenarbeiten
• Arbeiten mit der Teststrategie und Berichterstellungsanforderungen der Bank ausrichten und Audit-fähige Ingenieure aus verschiedenen Squads unterstützen

Anforderungen

• Erwiesene Expertise in Python-basierter Testautomatisierung: Playwright+Python (UI), Behave oder pytest-bdd (APIs), pytest (API)/Service-Validierung praktisch äquivalent zu REST-Assured
• Nachgewiesene Fähigkeit, Testautomatisierungsframeworks zu entwerfen und zu besitzen