DevOps Engineer - AI Model Evaluator
Mercor
Rola polega na ocenie i testowaniu rozwiązań infrastrukturalnych generowanych przez zaawansowane AI coding agenty (np. Cursor, Claude Code). Będziesz wykonywać zadania inżynierii infrastruktury przy użyciu tych agentów, a następnie krytycznie oceniać ich wyniki pod kątem poprawności, niezawodności i bezpieczeństwa. To bardziej rola ewaluatora/testera AI niż tradycyjnego DevOps – nie budujesz ani nie utrzymujesz systemów produkcyjnych, ale analizujesz output modeli. Tytuł jest mylący: 'DevOps Engineer' sugeruje budowanie infra, a faktycznie to ocena AI agentów.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: nie podano oczekiwanej liczby zadań ani przewidywanego obciążenia w tygodniu/miesiącu., brak informacji o długości kontraktu i możliwości przedłużenia..
Tytuł DevOps Engineer sugeruje tradycyjną rolę budowania i utrzymania infrastruktury, ale faktyczna praca to ocena rozwiązań generowanych przez AI coding agenty. Jesteś ewaluatorem/testem AI, który używa swojego doświadczenia inżynieryjnego do walidacji outputów modeli – nie tworzysz infrastruktury samodzielnie.
Rola polega na ocenie i testowaniu rozwiązań infrastrukturalnych generowanych przez zaawansowane AI coding agenty (np. Cursor, Claude Code). Będziesz wykonywać zadania inżynierii infrastruktury przy użyciu tych agentów, a następnie krytycznie oceniać ich wyniki pod kątem poprawności, niezawodności i bezpieczeństwa. To bardziej rola ewaluatora/testera AI niż tradycyjnego DevOps – nie budujesz ani nie utrzymujesz systemów produkcyjnych, ale analizujesz output modeli. Tytuł jest mylący: 'DevOps Engineer' sugeruje budowanie infra, a faktycznie to ocena AI agentów.
- ✓W pełni zdalna praca.
- ✓Praca z najnowszymi modelami AI (frontier models) – unikalne doświadczenie.
- ✓Wysoka stawka godzinowa (przy założeniu $85/h) – jeśli realna.
- −Niespójność w wynagrodzeniu: w opisie raz $85/h, raz $400 za zadanie – brak jasności co do rzeczywistej stawki i formy rozliczenia.
- −Wynagrodzenie jest powiązane z akceptacją zadań – ryzyko braku płatności za odrzucone zadania.
- −Proces rekrutacyjny oparty na AI – brak ludzkiego kontaktu, możliwy brak feedbacku.
- !Rola ma charakter kontraktowy i zadaniowy – niepewna ciągłość zatrudnienia.
- !Firma to agencja rekrutacyjna (Mercor) – możliwe, że jesteś delegowany do klienta końcowego lub projektów.
- !Opis roli nie precyzuje, ile zadań jest dostępnych tygodniowo ani oczekiwanego obciążenia.
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Używanie AI coding agentów (np. Cursor, Claude Code) do wykonywania zadań infrastrukturalnych (np. konfiguracja Kubernetes, Terraform, CI/CD).
- •Przegląd i analiza implementacji wygenerowanych przez modele, identyfikacja błędów, przypadków brzegowych i problemów z niezawodnością.
- •Porównywanie wyników różnych modeli (frontier models) w celu oceny ich mocnych i słabych stron.
- •Stosowanie profesjonalnego osądu inżynieryjnego do realistycznych scenariuszy infrastrukturalnych.
- •Dokumentowanie znalezionych problemów i przekazywanie feedbacku dotyczącego wydajności modeli.
- •Ocena poprawności konfiguracji chmurowych (AWS, Azure, GCP) i skryptów automatyzacji generowanych przez AI.
- •Weryfikacja pipeline'ów CI/CD i konfiguracji observability pod kątem dobrych praktyk.
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Inżynier DevOps z 2-letnim doświadczeniem, znający przynajmniej jeden dostawca chmury i Kubernetes, który próbował AI coding agentów i potrafi ocenić poprawność generowanych konfiguracji.
Osoby bez doświadczenia z AI coding agentami lub preferujące budowanie infrastruktury od zera zamiast oceny outputów modeli. Juniorzy poniżej 2 lat doświadczenia raczej nie spełnią wymogów.
- ?Jaki jest model wynagrodzenia – $85/h czy $400 za zadanie? Czy to stawka godzinowa, czy za wykonane zadanie?
- ?Ile zadań można oczekiwać tygodniowo/miesięcznie? Czy jest gwarantowana minimalna liczba?
- ?Jak wygląda proces akceptacji zadań? Kto decyduje, czy zadanie jest 'zaakceptowane'?
- ?Jaka jest przewidywana długość kontraktu? Czy istnieje możliwość przedłużenia lub przejścia na pełny etat?
- ?Czy będę pracować bezpośrednio dla Mercor, czy dla klienta zewnętrznego?
- ?Jakie są oczekiwane godziny pracy? Czy elastyczne?
- ?Czy są jakieś benefity (np. budżet szkoleniowy, płatny urlop) pomimo kontraktu?
- ?Jak wygląda komunikacja z zespołem? Czy są spotkania codzienne, retrospektywy?
- −Nie podano oczekiwanej liczby zadań ani przewidywanego obciążenia w tygodniu/miesiącu.
- −Brak informacji o długości kontraktu i możliwości przedłużenia.
- −Nie wiadomo, czy wynagrodzenie jest godzinowe ($85/h) czy za zadanie ($400) – sprzeczne dane.
- −Brak opisu zespołu i struktury raportowania.
- −Nie podano, kto ocenia akceptowalność zadań i jakie są kryteria odrzucenia.
Prześlij CV, weź udział w AI interview opartym na CV, a następnie wypełnij formularz. Całość zajmuje 20-30 minut.