Senior Databricks Data Engineer

Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Senior Databricks Data Engineer.

Zakres obowiązków:

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja.


• Projektowanie, tworzenie i utrzymywanie data pipeline'ów wspierających inicjatywy business intelligence i analityczne.


• Modelowanie danych oraz implementacja wzorców SCD2 (Slowly Changing Dimensions Type 2) w zgodzie z najlepszymi praktykami inżynierii danych.


• Praca w środowisku Databricks do tworzenia skalowalnych rozwiązań przetwarzania danych.


• Implementacja procesów transformacji danych przy użyciu PyS...