Programista BigData (Regular)

Branża: bankowość

Stawka: 120 zł/h na b2b

Lokalizacja: głównie praca zdalna, 2 razy w miesiącu spotkanie w biurze w Warszawie

Podsumowanie

Głównym celem roli Programisty BigData jest projektowanie i wdrażanie rozwiązań przetwarzania dużych zbiorów danych przy użyciu technologii Big Data, co wspiera organizację w analizie i zarządzaniu danymi.

Obowiązki

• Rozwój i utrzymanie aplikacji opartych na technologii Spark w językach Python lub Scala.
• Implementacja koncepcji Big Data oraz zarządzanie danymi w hurtowniach danych.
• Praca na platformach Hadoop Cloudera lub Hortonworks.
• Stosowanie dobrych praktyk inżynieryjnych przy przetwarzaniu dużych zbiorów danych.
• Analiza i integracja danych z różnych źródeł.
• Opracowywanie danych w różnych formatach, takich jak JSON, PARQUET, ORC, AVRO.
• Wykonywanie zapytań SQL na poziomie zaawansowanym.
  
  

Wymagania Kluczowe

• Min. 2 lata doświadczenia w programowaniu w Spark w Pythonie lub Scali.
• Znajomość koncepcji Big Data oraz hurtowni danych.
• Doświadczenie z platformą Hadoop Cloudera/Hortonworks.
• Znajomość dobrych praktyk inżynieryjnych w przetwarzaniu danych.
• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO.
• Zrozumienie typów baz danych, takich jak Hive, Kudu, HBase, Iceberg.
• Zaawansowana znajomość SQL.
• Doświadczenie w integracji danych z wielu źródeł.
• Znajomość narzędzi budowlanych, takich jak Maven.
  
  

Nice to Have

• Znajomość narzędzi Agile, takich jak Jira, Confluence, Kanban, Scrum.
• Znajomość platformy Kubeflow.
• Doświadczenie z technologiami strumieniowymi: Kafka, Apache NiFi.
• Wiedza na temat automatyzacji CI/CD.