Senior DataBricks Engineer

Summary

Join our team as a DataBricks Engineer and work 100% remotely on long-term projects for our US-based client! The client supports companies in cloud transformations using DataBricks, focusing on migration, data collection, and optimization. You will work on projects of varying lengths, seamlessly transitioning between projects due to consistent demand. Currently, we are seeking specialists for a project utilizing YellowBrick, migrating data warehouses from Yellowbrick to Databricks to create a modern data consumption layer. The ideal candidate possesses strong cloud (Azure and/or AWS) experience, DataBricks and Apache Spark expertise, and excellent communication skills. We offer flexible working hours and a collaborative team environment.

Requirements

• Solidne doświadczenie w pracy w roli data engineera lub pokrewnych rolach (8+ lat)
• Bardzo dobra znajomość platformy DataBricks oraz Apache Spark
• Bardzo dobra znajomość Python
• Doświadczenie w pracy w środowisku Azure (Data Factory, Synapse, Logic Apps, Data Lake) i/lub AWS
• Umiejętności interpersonalne i zespołowe
• Umiejętność podejmowania inicjatywy i samodzielność
• Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Responsibilities

• Przeniesienie danych, funkcji i logiki z Yellowbrick do Databricks
• Zapewnienie bezpieczeństwa przechowywanie danych
• Zbudowanie skalowalnego frameworka oraz pipeline’ów danych
• Przetwarzanie i indeksowanie danych
• Walidacja danych, tworzenie pipeline’ów przetwarzania danych, tworzenie i udostępnianie kohort
• Zaplanowanie i przeprowadzenie migracji baz danych
• ��cisła współpraca z zespołem (m.in. data engineers, data scientists, project managers, zespoły wsparcia) + wsparcie użytkowników biznesowych

Preferred Qualifications

• Doświadczenie w prowadzeniu projektów związanych z ML
• Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)
• Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)
• Doświadczenie z YellowBrick

Benefits

• Prywatną opiekę medyczną (Medicover)
• Kartę Multisport dla kontraktorów