DATA ENGINEER z DATABRICKS

Dołącz do The Codest i pracuj nad aplikacją bankową dla jednej z wiodących grup finansowych w Japonii. Szukamy doświadczonego Databricks Engineer do projektowania, budowania i zarządzania skalowalnymi rozwiązaniami danych.

Twoje obowiązki:

• Doświadczenie z Medallion Architecture (Bronze, Silver, Gold)
• Budowa frameworków jakości danych z automatycznym testowaniem
• Implementacja funkcji Delta Lake (time travel, vacuum, Z-ordering)
• Tworzenie i utrzymanie złożonych pipeline'ów ETL/ELT
• Projektowanie CI/CD dla pipeline'ów danych
• Optymalizacja zadań Spark

Kluczowe wymagania:

• 6+ lat doświadczenia w data engineering
• Biegłość w Python, PySpark i SQL
• Doświadczenie z AWS (Glue, Lambda, Redshift, S3)
• Doświadczenie z Unity Catalog i Delta Lake
• Komunikatywny angielski

Mile widziane:

• Certyfikat Databricks Certified Professional Data Engineer
• Doświadczenie z Docker i Kubernetes