Dla naszego klienta – firmy technologicznej rozwijającej system automatyzujący produkcję gazet reklamowych dla regionalnego wydawcy – poszukujemy osoby na stanowisko Senior QA Engineer.
To samodzielna rola łącząca tworzenie strategii jakości z praktyczną automatyzacją testów. System pracuje na niejednorodnych i często niekompletnych danych, wykorzystuje pipeline’y AI do generowania treści oraz solvery optymalizacyjne oparte na OR-Tools CP-SAT. Osoba na tym stanowisku będzie odpowiadać za zaprojektowanie i rozwój podejścia QA obejmującego testy funkcjonalne, integracyjne, wydajnościowe, automatyzację oraz pomiar jakości wyników.
Zakres obowiązków
- Tworzenie i utrzymywanie test concept / test strategy dla całego rozwiązania.
- Definiowanie poziomów testów oraz podziału odpowiedzialności pomiędzy development i QA.
- Projektowanie podejścia do test environments, test data, risk-based prioritization oraz klasyfikacji błędów i severity levels.
- Definiowanie acceptance criteria, release criteria oraz kryteriów dla blockerów.
- Projektowanie i wdrażanie strategii test automation.
- Automatyzacja testów backendu, API i integracji w Pythonie z wykorzystaniem pytest.
- Testowanie pipeline’ów danych oraz procesów batchowych.
- Integracja automatycznych testów z pipeline’ami CI i utrzymywanie testów regresyjnych.
- Automatyzacja testów frontendu, np. z wykorzystaniem Playwright.
- Projektowanie i utrzymywanie testów regresji generowanych PDF-ów, w tym visual comparison, preflight oraz walidacji PDF/X-3.
- Projektowanie syntetycznych i rule-based danych testowych, obejmujących m.in. niekompletne dane, błędne formaty, duplikaty i edge case’y.
- Budowanie oraz utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań.
- Wykorzystanie property-based testing, np. z użyciem Hypothesis.
- Definiowanie i automatyczne zbieranie metryk jakościowych oraz monitorowanie regresji.
- Projektowanie scenariuszy runtime, performance i volume testing.
- Testowanie dużych wydań, ponownych uruchomień po późnych zmianach oraz równoległej produkcji kilku tytułów.
- Analiza runtime i jakości wyników solverów oraz identyfikowanie bottlenecków.
- Testowanie skalowania rozwiązania działającego w AWS EKS.
- Profiling oraz analiza metryk i wyników testów z wykorzystaniem Grafana.
- Prowadzenie exploratory testing oraz release testing w obszarach, w których automatyzacja nie jest uzasadniona.
- Współpraca z Tech Leadem przy podejmowaniu decyzji dotyczących jakości i sposobu testowania systemu.
Wymagania
- Doświadczenie na poziomie Senior QA Engineer i samodzielne prowadzenie QA w co najmniej jednym projekcie.
- Doświadczenie w samodzielnym tworzeniu i wdrażaniu test concept / test strategy.
- Bardzo dobra znajomość automatyzacji testów w Pythonie i pytest.
- Doświadczenie w konfiguracji i utrzymywaniu testów w pipeline’ach CI.
- Doświadczenie w testowaniu backendów i systemów danych, w szczególności API, data pipelines, batch processing i integracji.
- Doświadczenie w generowaniu syntetycznych lub rule-based danych testowych.
- Praktyczne doświadczenie w runtime, performance i volume testing systemów backendowych lub batchowych.
- Doświadczenie w testowaniu systemów wykorzystujących parallel processing.
- Umiejętność projektowania scenariuszy wydajnościowych, definiowania metryk oraz analizowania bottlenecków.
- Doświadczenie w automatyzacji testów frontendu, np. Playwright lub narzędziem porównywalnym.
- Doświadczenie w testach manualnych i exploratory testing.
- Znajomość defect classification, severity levels oraz release criteria.
- Bardzo dobra znajomość języka angielskiego.
- Możliwość natychmiastowego rozpoczęcia pracy.
Mile widziane
- Doświadczenie w testowaniu systemów AI / ML / LLM oraz pracy z niedeterministycznymi wynikami.
- Doświadczenie w evaluation pipeline’ów AI oraz analizowaniu regresji wynikających ze zmian promptów lub modeli.
- Znajomość Langfuse lub podobnych narzędzi do monitorowania i ewaluacji systemów AI.
- Doświadczenie w tworzeniu AI-supported test agents lub LLM-based test automation.
- Znajomość property-based testing.
- Doświadczenie w testowaniu systemów optymalizacyjnych, planistycznych lub wykorzystujących solvery matematyczne.
- Doświadczenie w definiowaniu i analizowaniu metryk jakości dla solverów, takich jak fill rate, white space, proporcje reklam do treści czy runtime względem search budget.
- Doświadczenie w walidacji PDF, PDF/X-3 lub materiałów przygotowywanych do druku.
- Doświadczenie w branży publishing / media.
- Znajomość języka niemieckiego.
- Znajomość technologii wykorzystywanych w projekcie, takich jak PostgreSQL, Redis, AWS EKS, LangGraph, LiteLLM, React, TypeScript i Grafana.