Data Engineer

Zakres współpracy obejmuje:

• projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming
• tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake
• integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików, interfejsów API
• projektowanie logicznych i fizycznych modeli danych
• przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych
• tworzenie i optymalizację zapytań SQL w relacyjnych oraz kolumnowych bazach danych
• programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust
• budowę przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub
• optymalizację wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP
• wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania
• przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania
• przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych

lokalizacja projektu: Warszawa

tryb realizacji usług: hybrydowy, obecność w biurze raz w tygodniu w Warszawie

budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia i zakresu świadczonych usług

Kompetencje wymagane do realizacji usług:

• minimum 5 lat doświadczenia na podobnym stanowisku
• doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych
• dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych
• praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań
• doświadczenie w programowaniu w Pythonie i/lub Rust
• znajomość przetwarzania danych zarówno w trybie batch, jak i streaming
• znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub
• znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL
• znajomość systemu Linux
• mile widziane: znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow, doświadczenie z Kubernetes, Docker oraz procesami CI/CD, znajomość Informatica PowerCenter lub innych narzędzi klasy ETL, znajomość AutomateNOW, znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation

Co oferujemy w ramach współpracy?

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy