Senior AI Test Automation Engineer

Aufgaben

• Definieren und Weiterentwickeln des technischen Testautomatisierungsansatzes und der Testframework-Architektur für die ML & AI ART
• Entwerfen von wiederverwendbaren, skalierbaren Testautomatisierungsmustern (Page-Objekte, API-Clients, Testdaten-Builder)
• Analysieren und bewerten von Anforderungen, Features und Stories hinsichtlich Testbarkeit
• Ableiten von Testfällen aus technischer und Risikoanalyse von funktionalen und nicht-funktionalen Anforderungen
• Automatisieren von Testfällen mit Python-basierten Frameworks (Playwright/Python, requests, pytest, Behave oder pytest-bdd)
• Entwerfen und Implementieren von A/M-spezifischen Testfällen: Evaluationspipelines für LLM-Ausgaben
• Aufbauen und Warten von Kontakttests (z.B. PaRT) für Plattform-APIs und Microservice-Grenzen
• Integrieren und Orchestrieren von automatisierten Testeingaben in GitLab CI/CD-Pipelines
• Planen, Schedulen und Auslösen von automatisierten Testausführungen über Umgebungen hinweg
• Überwachen der Ausführungsgesundheit, Untersuchen und Quarantänen von flaky Testfällen
• Triage von Ausführungsergebnissen, Melden von Fehlern in Jira mit Beweisen und Kommunizieren von Qualitätsignalen
• Erstellen von Ausführungsbeweisen (Laufmetadaten, Artefakte, Berichte) für Audit und Release-Governance
• Aktiv zur PI-Planung, Systemdesign, Inspect & Adapt und anderen SAFE-Zeremonien beitragen
• Sicherstellen von End-to-End-Traceability von Jira-Features und Stories zu automatisierten Tests, Fehlern und Testergebnissen
• Mit Product Ownern, Scrum Mastern, ML-Engineern, ML-Ops-Engineern und Data-Engineern über Squads hinweg zusammenarbeiten

Anforderungen

• Erprobte Expertise in Python-basierten Testautomatisierungen: Playwright/Python (UI), Behave oder pytest-bdd (BDD) für requests + pytest (API)/Service-Validierung
• Nachgewiesene Fähigkeit, Testautomatisierungsframeworks zu entwerfen und zu besitzen, nicht nur Testskripte zu schreiben
• Praktische Erfahrung mit der Integration und Ausführung von automatisierten Tests in CI/CD-Pipelines, idealerweise mit GitLab oder äquivalenten Unternehmensplattformen
• Erfahrung mit Testausführung, Parametrisierung, Flaky-Test-Management und modernen Berichtswerkzeugen (Allure, pytest-html oder äquivalent)
• Solides Verständnis von ETL- und Versionskontroll-Workflows, Erfahrung mit Clean-Code-Prinzipien und Code-Review-Kultur
• Arbeitswissen von Docker, Vertrautheit mit Kubernetes-Grundlagen (Jobs, Namespaces)
• Exposition gegenüber der Testung von AI/ML-Systemen, starke Motivation, diese Expertise zu entwickeln
• Erfahrung mit der Integration, Ausführung und Automatisierung von Schichten, Verständnis von AI/ML-Design, Microservices, Event-driven-Architekturen und Authentifizierungsschichten
• Verständnis von SATE- und DevOps-Prinzipien, Erfahrung im Umgang mit Agile Release Train ist ein Plus
• Erfahrungen mit Jira für Story/Feature-Tracking und Testmanagement-Integration (Xray, Agile Hive)
• Demonstrierbares End-to-End-Denken, Verbindung von Benutzerreisen