Senior Python Data Scraping Engineer (Freelance)
Mindrift
Jesteś starszym inżynierem danych odpowiedzialnym za scraping danych ze stron internetowych w hybrydowym systemie AI + człowiek. Pracujesz zdalnie, na własnym harmonogramie, jako freelancer. Twoim zadaniem jest samodzielne projektowanie i wykonywanie workflowów ekstrakcji danych z dynamicznych i złożonych stron, przy użyciu wewnętrznych narzędzi (Apify, OpenRouter) oraz własnych skryptów. Współpracujesz z agentami AI, którzy automatyzują rutynowe zadania, a Ty dostarczasz krytyczne myślenie, kontrolę jakości i ekspertyzę w trudnych przypadkach. Rola ma charakter projektowy (projekt Tendem) i jest częścią platformy Mindrift łączącej specjalistów z projektami AI.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: nie podano zakresu tygodniowego obciążenia ani minimalnej liczby godzin, brak informacji o długości projektu i możliwości przedłużenia.
Jesteś starszym inżynierem danych odpowiedzialnym za scraping danych ze stron internetowych w hybrydowym systemie AI + człowiek. Pracujesz zdalnie, na własnym harmonogramie, jako freelancer. Twoim zadaniem jest samodzielne projektowanie i wykonywanie workflowów ekstrakcji danych z dynamicznych i złożonych stron, przy użyciu wewnętrznych narzędzi (Apify, OpenRouter) oraz własnych skryptów. Współpracujesz z agentami AI, którzy automatyzują rutynowe zadania, a Ty dostarczasz krytyczne myślenie, kontrolę jakości i ekspertyzę w trudnych przypadkach. Rola ma charakter projektowy (projekt Tendem) i jest częścią platformy Mindrift łączącej specjalistów z projektami AI.
- ✓Dostęp do nowoczesnych technologii (LLM, AI agents)
- ✓Możliwość zdobycia unikalnych umiejętności na styku scrapingu i AI
- ✓Programy bonusowe oparte na wynikach
- −Stawka do $30/h, ale brak gwarancji minimalnej oraz uzależnienie od projektu – rzeczywiste zarobki mogą być niższe
- −Rola projektowa (Tendem) – nie wiadomo, jak długo potrwa i czy będzie stabilne zlecenie
- −Wynagrodzenie tylko za efekty? Nie opisano, jak naliczane są godziny
- −Brak informacji o własności intelektualnej i ochronie danych – w scrapingu to kluczowe
- !Hybrydowy system AI + człowiek może oznaczać monotonię nadzorowania agentów
- !Wymagana znajomość frameworków LLM – może być zbędna dla czystego scrapingu
- !Brak szczegółów co do ilości zadań i obciążenia w tygodniu
- !Konieczność korzystania z narzędzi platformy (Apify, OpenRouter) – ograniczenie swobody
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Tworzenie i debugowanie skryptów w Pythonie z użyciem BeautifulSoup, Selenium i Playwright do scrapowania dynamicznych stron (JS, AJAX, infinite scroll)
- •Konfiguracja i uruchamianie aktorów Apify do masowej ekstrakcji danych
- •Wykorzystywanie OpenRouter lub LangChain do automatyzacji przetwarzania danych lub obsługi wyjątków
- •Czyszczenie, normalizacja i walidacja zebranych danych, zapis do CSV, JSON lub Google Sheets
- •Implementacja strategii omijania anty-botów: rotacja proxy, headless browsers, zarządzanie CAPTCHA
- •Monitorowanie wydajności scrapingu, skalowanie za pomocą batchingu i parallelizacji
- •Współpraca z agentami AI (Tendem) poprzez dostarczanie instrukcji, recenzowanie wyników i rozwiązywanie problemów
- •Utrzymanie stabilności scrapingu przy zmianach struktury stron
Oferta dla doświadczonych specjalistów (Senior).
Specjalista z co najmniej 5-letnim stażem w scrapingu, potrafiący samodzielnie napisać skrypt end-to-end dla złożonej strony, radzący sobie z anty-botami i dostarczający czyste dane. Osoba z podstawową znajomością LLM i gotowością do nauki narzędzi platformy (Apify, OpenRouter).
Juniorzy bez 5 lat doświadczenia, osoby szukające pełnego etatu i stabilności pracodawcy, kandydaci nieprzyzwyczajeni do pracy w formule freelance i nieregularnych godzin, ani tacy, którzy nie chcą współpracować z automatycznymi agentami.
- ?Jaka jest oczekiwana liczba godzin tygodniowo i szacowany czas trwania projektu Tendem?
- ?Czy wynagrodzenie jest godzinowe, czy za zadanie? Jak jest rozliczane i wypłacane?
- ?Czy istnieje minimalna gwarancja obłożenia, czy praca jest zleceniowa z wolnymi okresami?
- ?Jakie są zasady dotyczące własności skryptów i danych – czy mogę wykorzystać własne rozwiązania?
- ?Czy platforma zapewnia budżet na proxy i inne zasoby niezbędne do scrapingu?
- ?Jak mierzona jest jakość pracy i jakie są kryteria bonusów?
- ?Czy w ramach projektu będę musiał/a szkolić agentów AI, czy tylko nadzorować?
- −Nie podano zakresu tygodniowego obciążenia ani minimalnej liczby godzin
- −Brak informacji o długości projektu i możliwości przedłużenia
- −Nie wiadomo, jak często są wypłaty i czy są opóźnienia
- −Brak opisu procesu rekrutacyjnego – czy jest rozmowa, test, czy tylko CV
- −Nie określono, czy wymagane jest posiadanie własnego sprzętu poza laptopem
- −Brak informacji o ewentualnych szkoleniach z narzędzi platformy