Data Engineer

Zakres współpracy

projektowanie, budowa i utrzymanie przepływów danych oraz procesów ETL/ELT

implementacja procesów przetwarzania danych wsadowych lub strumieniowych

tworzenie transformacji danych oraz reguł ich walidacji i kontroli jakości

projektowanie i implementacja mechanizmów identyfikacji oraz obsługi błędów przetwarzania

integracja danych z systemów źródłowych do docelowych struktur analitycznych

optymalizacja zapytań SQL oraz wydajności procesów przetwarzania danych

analiza i usprawnianie rozwiązań obsługujących duże wolumeny danych

rozwój mechanizmów orkiestracji i monitorowania procesów przetwarzania

przygotowywanie testów technicznych i weryfikacja poprawności przetwarzanych danych

tworzenie i aktualizacja dokumentacji technicznej

wykorzystanie repozytoriów kodu oraz udział w przeglądach kodu

wsparcie wdrażania zmian i rozwiązywania problemów technicznych

współpraca z analitykami danych, data modelerami, architektami i zespołami utrzymaniowymi

model realizacji usług: hybrydowy – 1 dzień w tygodniu w biurze Klienta - Warszawa lub Wrocław

budżet projektu: do 165 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług

Kompetencje wymagane

• doświadczenie w projektowaniu i implementacji procesów ETL/ELT
• doświadczenie w przetwarzaniu danych wsadowych lub strumieniowych
• bardzo dobra znajomość SQL
• znajomość co najmniej jednego języka programowania lub skryptowego, np. Python
• znajomość architektury i zasad działania hurtowni danych oraz rozwiązań Data Lake / Lakehouse
• znajomość zagadnień związanych z orkiestracją procesów i monitoringiem przetwarzania danych
• doświadczenie w optymalizacji zapytań i procesów przetwarzania danych
• doświadczenie w obsłudze dużych wolumenów danych
• umiejętność implementowania mechanizmów zapewniania jakości danych
• doświadczenie w korzystaniu z repozytoriów kodu i udziału w code review
• doświadczenie w przygotowywaniu testów technicznych oraz dokumentacji
• umiejętność współpracy z analitykami danych, architektami i zespołami technicznymi
• samodzielność, analityczne podejście oraz umiejętność rozwiązywania problemów technicznych

Mile widziane

• doświadczenie z platformami chmurowymi
• znajomość narzędzi i procesów CI/CD wykorzystywanych w rozwiązaniach inżynierii danych

Co oferujemy

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy