Opis projektu

Nasz Klient to państwowa jednostka o znaczeniu strategicznym, odpowiedzialna za utrzymanie i rozwój kluczowej infrastruktury w sektorze lotnictwa cywilnego. Instytucja ta pełni nadrzędną rolę w zapewnianiu ciągłości i bezpieczeństwa operacji transportowych na skalę krajową, działając w oparciu o rygorystyczne normy publiczne oraz międzynarodowe standardy regulacyjne.

Zadania:

Opracowanie strategii testów dla systemów z komponentami AI/ML (funkcjonalne, integracyjne, niefunkcjonalne, bezpieczeństwo).
Definiowanie przypadków testowych dla funkcji opartych o ML, w tym zestawów danych testowych i „golden datasets”.
Testy danych i potoków: walidacje jakości danych, spójność, kompletność, schematy, reguły biznesowe.
Automatyzacja testów (API/UI/integrowane) i włączanie ich do CI/CD; utrzymanie frameworków testowych.
Testy modeli: porównania metryk, regresje jakości, testy stabilności i odporności na skrajne/nieoczekiwane dane.
Testy wydajności inferencji: opóźnienie, przepustowość, wykorzystanie zasobów, stabilność pod obciążeniem.
Współpraca z Product Ownerem i zespołami przy definiowaniu kryteriów akceptacji, scenariuszy SAT/UAT
Planowanie pracy w Scrum, prowadzenie lub udział w przeglądach defektów i triage.
Weryfikacja postępów: raporty pokrycia, trendy defektów, status automatyzacji, wskaźniki jakości releasu.
Testy odporności i jakości danych treningowych oraz mechanizmów retraningu.
Walidacja mechanizmów monitoringu modeli (alerty, progi, drift), scenariusze awaryjne i rollback.
Testy integracji MLOps: rejestr modeli, polityki wersjonowania, zgodność pipeline’ów z wymaganiami.
Utrzymanie dokumentacji QA: strategie, plany testów, raporty wykonania, ewidencje.
Koordynacja z zespołami Dev/DE/ML w celu szybkiej replikacji błędów i wprowadzenia poprawek.
Optymalizacja pracy zespołu QA i skracanie cykli regresji poprzez usprawnienia narzędziowe i procesowe.

Wymagania:

Wykształcenie wyższe: informatyka, inżynieria oprogramowania, automatyka, matematyka lub pokrewne.
Doświadczenie w QA systemów IT, w tym w automatyzacji testów oraz testach integracyjnych i systemowych.
Praktyka w testowaniu komponentów ML: przygotowanie danych testowych, walidacja metryk, regresje jakości modeli.
Umiejętność budowy i utrzymania frameworków automatyzacji (np. testy API/UI), integracja z CI/CD.
Doświadczenie w raportowaniu i śledzeniu defektów, metrykach jakości i pracy z dashboardami QA.
Znajomość testów wydajnościowych i narzędzi do obciążeniowych testów inferencji.
Umiejętność dokumentowania strategii i planów testów, pracy w zespołach wielofunkcyjnych.
Biegłe posługiwanie się językiem polskim.

Co oferujemy?

Pracę zdalną z możliwością przyjazdów co jakiś czas do biura w Warszawie.
Pracę na naszym sprzęcie.
Płaską strukturę zarządzania.
Samoorganizujące się zespoły.
Dużo przestrzeni na własną inicjatywę.
Możliwość delegacji na terenie Unii Europejskiej lub Wielkiej Brytanii.

AI QA Engineer

e-point SA