Data Engineer (Scala&Spark)
TQLO
Rola Data Engineera odpowiedzialnego za projektowanie i rozwijanie skalowalnych rozwiązań do przetwarzania danych z użyciem Scala, Apache Spark, Databricks i Google Cloud Platform. Zadania obejmują budowę i optymalizację procesów ETL, zarządzanie przepływami danych z Apache Airflow oraz współpracę z zespołami technicznymi i biznesowymi w metodyce Agile. Firma TQLO to agencja zatrudnienia, więc jest to projekt u klienta zewnętrznego.
Brakuje: nie podano wielkości zespołu, brak opisu procesu rekrutacyjnego.
Rola Data Engineera odpowiedzialnego za projektowanie i rozwijanie skalowalnych rozwiązań do przetwarzania danych z użyciem Scala, Apache Spark, Databricks i Google Cloud Platform. Zadania obejmują budowę i optymalizację procesów ETL, zarządzanie przepływami danych z Apache Airflow oraz współpracę z zespołami technicznymi i biznesowymi w metodyce Agile. Firma TQLO to agencja zatrudnienia, więc jest to projekt u klienta zewnętrznego.
- ✓100% zdalnie z elastycznym startem
- ✓Nowoczesny stack technologiczny: Scala, Spark, Databricks, GCP, Airflow
- ✓Realny wpływ na produkcyjne rozwiązania danych
- ✓Praca z dużymi wolumenami danych w chmurze
- !Brak informacji o kliencie końcowym i kontekście biznesowym projektu
- !Nie podano wielkości zespołu ani struktury organizacyjnej
- !Brak wzmianki o procesie rekrutacyjnym (liczba etapów, zadania rekrutacyjne)
- •Projektowanie i rozwijanie platform danych z użyciem Scala oraz Apache Spark
- •Budowa, optymalizacja i utrzymanie procesów ETL w środowisku chmurowym GCP
- •Tworzenie rozwiązań Data Engineering z wykorzystaniem Databricks oraz Zeppelin Notebooks
- •Pisanie i optymalizacja złożonych zapytań SQL dla potrzeb analitycznych i biznesowych
- •Orkiestracja, harmonogramowanie i monitorowanie procesów danych przy użyciu Apache Airflow
- •Współpraca z zespołami technicznymi i biznesowymi przy definiowaniu wymagań danych
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Data Engineer z praktycznym doświadczeniem w Scala/Spark, Databricks, GCP, SQL i Airflow, pracującym w Agile z Jira/Confluence. Znajomość języka angielskiego na poziomie B2.
Osoby bez doświadczenia w Scala i Apache Spark, juniorzy bez styczności z big data, ani osoby szukające pracy stacjonarnej (rola w pełni zdalna).
- ?Jaki jest profil klienta i branża projektu?
- ?Ile osób liczy zespół Data Engineering?
- ?Jaki jest przewidywany czas trwania projektu?
- ?Czy przewidziane są dyżury on-call lub wsparcie produkcyjne?
- ?Jakie wersje Spark/Databricks są używane?
- ?Czy istnieje możliwość rozwoju i certyfikacji w chmurze?
- ?Jak wygląda proces onboardingu i dokumentacja?
- −Nie podano wielkości zespołu
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo czy istnieje on-call
- −Nie określono długości projektu ani możliwości przedłużenia
Powyżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię Apache Spark.