Senior QA Engineer (LLM & Agentic Systems)
co.brick
Rola polega na budowie frameworka testowego wykorzystującego modele językowe (LLM) do automatyzacji testów regresyjnych. Pracujesz w małym, autonomicznym zespole (2–3 osoby) nad projektem end-to-end. Główne wyzwanie to zapewnienie wiarygodnej walidacji wyników agentów AI – odróżnienie poprawnego wykonania od pozornie poprawnych, błędnych rezultatów. Będziesz projektować mechanizmy walidacji, definiować strategie testowe, implementować testy UI/API/integracyjne oraz analizować błędy modeli AI (halucynacje, prompt injection, drift).
Brakuje: nie podano, czy projekt dotyczy konkretnego produktu (domena biznesowa) i jakie jest jego przeznaczenie, brak informacji o budżecie na narzędzia / dostęp do modeli ai.
Rola polega na budowie frameworka testowego wykorzystującego modele językowe (LLM) do automatyzacji testów regresyjnych. Pracujesz w małym, autonomicznym zespole (2–3 osoby) nad projektem end-to-end. Główne wyzwanie to zapewnienie wiarygodnej walidacji wyników agentów AI – odróżnienie poprawnego wykonania od pozornie poprawnych, błędnych rezultatów. Będziesz projektować mechanizmy walidacji, definiować strategie testowe, implementować testy UI/API/integracyjne oraz analizować błędy modeli AI (halucynacje, prompt injection, drift).
- ✓Praca w małym, autonomicznym zespole z realnym wpływem na architekturę i kierunek rozwoju
- ✓Projekt z pogranicza AI i nowoczesnej automatyzacji – duża wartość rozwojowa
- ✓Współpraca z klientem przy podejmowaniu decyzji technicznych – rola konsultingowa
- ✓100% zdalnie – pełna elastyczność lokalizacyjna
- !Krótkoterminowy projekt (8 czerwca – 31 lipca 2026) z możliwością przedłużenia – niepewność ciągłości zatrudnienia
- !Brak informacji o wielkości zespołu (poza '2-3 osoby') – może oznaczać wysoką presję na wyniki
- !Wymaganie 'AI-native mindset' i konkretnych narzędzi (Claude Code, Codex, Cursor) – jeśli nie masz ich w codziennym użyciu, możesz nie spełnić kryterium
- •Projektowanie i rozwój frameworka testowego opartego o LLM i agentic workflows
- •Tworzenie mechanizmów walidacji rezultatów generowanych przez agentów AI
- •Definiowanie strategii testów regresyjnych oraz metod oceny ich wiarygodności
- •Projektowanie eksperymentów służących analizie zachowania modeli językowych
- •Implementacja i utrzymanie automatycznych testów UI, API i integracyjnych
- •Praca z bazami danych w zakresie przygotowania i walidacji danych testowych
- •Analiza przypadków błędów modeli AI: halucynacje, drift, prompt injection, niestabilność wyników
- •Współpraca z klientem przy definiowaniu wymagań i podejmowaniu decyzji technicznych
Oferta dla doświadczonych specjalistów (Senior).
QA Engineer z co najmniej 3-letnim doświadczeniem w automatyzacji testów (np. Playwright, Selenium), który ma za sobą pierwsze projekty z LLMami i agentami. Osoba potrafiąca samodzielnie pisać testy i analizować wyniki, gotowa szybko uzupełnić wiedzę o specyfikę AI.
Nie dla juniorów – rola wymaga samodzielności i doświadczenia w projektowaniu frameworków oraz pracy z LLMami. Osoby, które preferują wyłącznie manualne testowanie lub nie mają styczności z modelami językowymi, nie znajdą tu dopasowania.
- ?Jakie są szanse na przedłużenie kontraktu po 31 lipca 2026?
- ?Czy w zespole są inne osoby o podobnym profilu, czy będzie to samodzielna rola?
- ?Jaki jest stosowany CI/CD i jakie narzędzia do automatyzacji testów są w projekcie?
- ?Czy istnieje możliwość korzystania z własnych narzędzi AI, czy narzucone są konkretne (Claude Code, Codex)?
- ?Jak wygląda proces decyzyjny – kto zatwierdza zmiany w architekturze frameworka?
- ?Czy przewidziany jest okres wdrożeniowy / onboarding?
- ?Jakie są oczekiwania co do częstotliwości i formy raportowania postępów?
- −Nie podano, czy projekt dotyczy konkretnego produktu (domena biznesowa) i jakie jest jego przeznaczenie
- −Brak informacji o budżecie na narzędzia / dostęp do modeli AI
- −Nie wiadomo, czy rola wymaga dyżurów on-call lub pracy w weekendy przy wydaniach
- −Brak wzmianki o procesie rekrutacyjnym (etapy, czas trwania)
Mały, autonomiczny zespół (2-3 osoby) z dużą swobodą decyzyjną i bezpośrednią współpracą z klientem. Oczekuje się samodzielności i proaktywnego kwestionowania założeń.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię AI.