AI-Native Python Engineer (Python, AWS, Data Pipelines)
emagine
Rola inżyniera danych skupiająca się na budowie i utrzymaniu platformy przetwarzającej treści (PDF, Excel) na ustrukturyzowane, gotowe do użycia przez AI dane. Kandydat będzie odpowiedzialny za tworzenie potoków danych, integrację z bazami danych i narzędziami AI, a także za zapewnienie spójności danych w rozproszonym systemie.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: dokładna liczba dni/częstotliwość okazjonalnych wizyt w biurze., wielkość zespołu..
Rola inżyniera danych skupiająca się na budowie i utrzymaniu platformy przetwarzającej treści (PDF, Excel) na ustrukturyzowane, gotowe do użycia przez AI dane. Kandydat będzie odpowiedzialny za tworzenie potoków danych, integrację z bazami danych i narzędziami AI, a także za zapewnienie spójności danych w rozproszonym systemie.
- ✓Praca nad platformą CaaS (Content as a Service) z zastosowaniami AI (RAG, Asystent Nauczyciela).
- ✓Możliwość pracy z najnowszymi technologiami AI/LLM.
- ✓Budowanie od podstaw platformy danych.
- !Pierwszy dzień onboardingu w Warszawie, mimo że praca jest zdalna.
- !Okazjonalne wizyty w biurze w Warszawie (częstotliwość nie jest precyzyjnie określona).
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Budowanie i utrzymywanie wieloetapowych potoków pobierania danych.
- •Projektowanie i implementacja idempotentnych, restartowalnych procesów wsadowych.
- •Wykorzystanie S3 jako głównej warstwy przechowywania danych surowych i przetworzonych.
- •Implementacja etapów przetwarzania danych: pobieranie treści i przypisywanie tożsamości książki, konwersja PDF na markdown (AI OCR), ekstrakcja spisu treści i struktury, hierarchiczne dzielenie na fragmenty, generowanie embeddingów.
- •Wykorzystanie LLM i modeli OCR do ekstrakcji ustrukturyzowanych danych z plików PDF.
- •Projektowanie promptów i strategii kontekstowych dla spójnych wyników.
- •Generowanie ustrukturyzowanych metadanych i wzbogacanie treści dla aplikacji konsumenckich.
- •Utrzymanie PostgreSQL (Aurora) jako systemu źródłowego.
Kandydat z silnym doświadczeniem w Pythonie i AWS, który budował produkcyjne systemy przetwarzania danych i potoki ETL. Idealnie, jeśli posiada doświadczenie z LLM, bazami wektorowymi i FastAPI, a także rozumie architekturę platform danych.
Kandydat z solidnym doświadczeniem w Pythonie i AWS, który potrafi budować i utrzymywać potoki danych oraz posiada doświadczenie z SQL i projektowaniem schematów.
Rola nie jest dla osób, które nie mają doświadczenia w Pythonie, AWS, ETL/przetwarzaniu danych, SQL i projektowaniu schematów. Również osoby bez doświadczenia w pracy z systemami produkcyjnymi mogą mieć trudności.
- ?Jak często odbywają się okazjonalne wizyty w biurze w Warszawie?
- ?Jaka jest dokładna liczba osób w zespole pracującym nad tą platformą?
- ?Jak wygląda proces onboardingu w Warszawie?
- ?Jakie są główne wyzwania techniczne, z którymi zespół się mierzy?
- ?Czy istnieją plany dotyczące rozwoju platformy w kierunku innych technologii AI?
- ?Jakie są oczekiwania dotyczące dyżurów on-call, jeśli występują?
- −Dokładna liczba dni/częstotliwość okazjonalnych wizyt w biurze.
- −Wielkość zespołu.
- −Szczegóły dotyczące procesu rekrutacyjnego.
- −Informacje o dyżurach on-call, jeśli występują.