Mid / Mid+ Data Engineer (Python)

Szukamy Mid / Mid+ Data Engineera, który dołączy do zespołu rozwijającego platformę Feature Store – rozwiązanie odpowiedzialne za obliczanie, przechowywanie i udostępnianie cech wykorzystywanych przez modele uczenia maszynowego.

Będziesz pracować nad rozwojem produkcyjnej platformy danych, budując i optymalizując pipeline'y przetwarzające duże wolumeny informacji. Projekty obejmują m.in. pobieranie danych z hurtowni analitycznych, przetwarzanie rozproszone, przygotowywanie i przechowywanie danych oraz udostępnianie ich systemom i modelom ML.

Głównym językiem programowania jest Python, a w codziennej pracy wykorzystujemy technologie takie jak PySpark, Polars, Airflow, ClickHouse, Delta Lake czy Apache Iceberg. W wybranych komponentach korzystamy również z Golanga.

To rola dla osoby, która dobrze zna Pythona, ma doświadczenie w przetwarzaniu dużych zbiorów danych i chce rozwijać praktyczne, produkcyjne rozwiązania na styku Data Engineering i Machine Learning.

Zakres obowiązków

• Projektowanie, rozwój i utrzymanie platformy Feature Store.
• Budowa i rozwój pipeline'ów przetwarzania danych w Pythonie.
• Przetwarzanie dużych wolumenów danych z wykorzystaniem narzędzi takich jak PySpark i Polars.
• Integracja z hurtowniami danych i systemami analitycznymi.
• Przygotowywanie i przechowywanie danych w formatach wykorzystywanych w architekturach data lake i lakehouse.
• Orkiestracja i automatyzacja przepływów danych.
• Rozwój komponentów i usług wspierających platformę danych.
• Przygotowywanie i udostępnianie cech wykorzystywanych przez modele ML, w tym w scenariuszach online.
• Optymalizacja wydajności, kosztów i skalowalności procesów przetwarzania danych.
• Dbanie o jakość, poprawność i spójność danych, w tym walidację, obsługę schematów i idempotentność procesów.
• Debugowanie, analiza błędów i rozwiązywanie problemów technicznych.
• Praca z konteneryzacją i środowiskami uruchomieniowymi opartymi o Docker i Kubernetes.
• Dbanie o jakość kodu, testowalność i utrzymywalność rozwiązań.
• Udział w projektowaniu architektury danych i rozwiązań technicznych.
• Współpraca z data scientistami, ML engineerami, backend developerami, architektami i product ownerami.
• Współpraca z użytkownikami platformy, wsparcie w rozwiązywaniu problemów oraz konsultowanie sposobu wykorzystania dostępnych rozwiązań.
• Udział w estymacji zadań, code review i planowaniu prac projektowych.
• Korzystanie z narzędzi AI wspierających programowanie i automatyzację pracy developerskiej.

Wymagania

• Bardzo dobra znajomość Pythona.
• Doświadczenie w budowaniu, rozwijaniu i utrzymywaniu produkcyjnych pipeline'ów danych.
• Praktyczna znajomość PySpark lub innego narzędzia do przetwarzania rozproszonego.
• Bardzo dobra znajomość SQL.
• Doświadczenie w przetwarzaniu dużych zbiorów danych, w tym wolumenów przekraczających dostępną pamięć operacyjną.
• Znajomość narzędzi do orkiestracji przepływów danych, np. Airflow lub Argo Workflows.
• Praktyczna znajomość Git i Dockera.
• Znajomość dobrych praktyk projektowania i rozwijania pipeline'ów danych.
• Umiejętność pisania czytelnego, testowalnego i utrzymywalnego kodu.
• Umiejętność debugowania i analizowania problemów technicznych.
• Samodzielność w realizacji zadań i odpowiedzialność za dostarczane rozwiązania.
• Nastawienie na rozwiązywanie problemów i szukanie praktycznych rozwiązań.
• Dbałość o jakość kodu, poprawność danych i stosowanie dobrych praktyk developerskich.
• Otwartość na kontakt z użytkownikami platformy, rozumienie ich potrzeb i wspieranie ich w korzystaniu z rozwijanych rozwiązań.
• Chęć ciągłego rozwoju i poznawania nowych technologii.
• Komunikatywność w języku polskim.
• Gotowość do pracy w trybie hybrydowym.

Mile widziane

• Doświadczenie z formatami i technologiami lakehouse, np. Delta Lake lub Apache Iceberg.
• Znajomość biblioteki Polars.
• Doświadczenie z analitycznymi bazami danych, np. ClickHouse lub StarRocks.
• Znajomość Redis lub innych rozwiązań wykorzystywanych do szybkiego udostępniania danych.
• Znajomość Golanga.
• Doświadczenie z frameworkiem Django lub budową usług backendowych wspierających platformy danych.
• Doświadczenie z platformami Feature Store, np. Feast, Tecton lub Hopsworks.
• Znajomość zagadnień MLOps i przygotowywania danych na potrzeby modeli Machine Learning.
• Znajomość narzędzi do rozproszonego przetwarzania danych i zarządzania zadaniami obliczeniowymi, np. Ray lub Kubeflow.
• Doświadczenie z systemami kolejkowymi i streamingiem danych, np. Kafka.
• Doświadczenie z Kubernetes i środowiskami chmurowymi, np. GCP lub Azure.
• Doświadczenie z CI/CD i automatyzacją procesów developerskich.
• Doświadczenie w pisaniu testów jednostkowych, integracyjnych i testów jakości danych.
• Umiejętność pracy z narzędziami monitoringu, logowania i obserwowalności.
• Umiejętność efektywnej pracy z narzędziami AI wspierającymi programowanie, np. Claude Code, Cursor, Codex, Gemini CLI, GitHub Copilot lub podobnymi.
• Otwartość na podejście agentowego kodowania i automatyzację części zadań developerskich.

Technologie, z którymi możesz pracować

• Python
• PySpark / Apache Spark
• Polars
• SQL
• ClickHouse / StarRocks
• Delta Lake / Apache Iceberg / Parquet
• Airflow / Argo Workflows
• Redis
• Docker / Kubernetes
• Django
• Golang
• Git / CI/CD
• Google Cloud Platform / Microsoft Azure
• Narzędzia AI dla developerów: Claude Code, Cursor, Codex, Gemini CLI, GitHub Copilot lub podobne

Kogo szukamy

Szukamy osoby na poziomie mid / mid+, która:

• ma praktyczne doświadczenie w pracy z Pythonem i przetwarzaniem dużych zbiorów danych;
• potrafi samodzielnie projektować, budować i rozwijać pipeline'y danych;
• rozumie, że dobry pipeline to nie tylko działający kod, ale też poprawność danych, wydajność, idempotentność i utrzymywalność;
• potrafi dobierać narzędzia i podejście do skali oraz charakteru przetwarzanych danych;
• dobrze odnajduje się w pracy z istniejącymi systemami i potrafi rozwijać je bez pogarszania ich jakości;
• potrafi analizować problemy techniczne i szukać prostych, skutecznych rozwiązań;
• ma nastawienie „can-do” i bierze odpowiedzialność za dowożone zadania;
• zwraca uwagę na jakość kodu, dobre praktyki i sensowną architekturę danych;
• jest otwarta na nowe technologie i nie boi się pracy z narzędziami, których wcześniej nie znała;
• nie boi się sięgnąć po Golanga, gdy wymaga tego zadanie;
• potrafi rozmawiać z użytkownikami platformy, zrozumieć ich problemy i pomóc w znalezieniu rozwiązania;
• chce korzystać z narzędzi AI wspierających programowanie i jest otwarta na agentowe podejście do developmentu;
• dobrze współpracuje z zespołem technicznym, data science i produktowym;
• odpowiada jej praca w modelu hybrydowym.

Co oferujemy

• Pracę przy rozwoju produkcyjnej platformy Feature Store.
• Udział w projektach z obszaru AdTech i e-commerce, na styku inżynierii danych i uczenia maszynowego.
• Pracę z dużymi wolumenami danych i technologiami big data.
• Możliwość rozwijania istniejących systemów oraz budowania nowych komponentów od zera.
• Współpracę z doświadczonym zespołem technologicznym i data science.
• Możliwość wpływu na architekturę danych, wybór rozwiązań technicznych i jakość kodu.
• Pracę z nowoczesnym ekosystemem przetwarzania danych, m.in. Spark, Polars, Delta Lake, Iceberg i ClickHouse.
• Przestrzeń do proponowania usprawnień technicznych i optymalizacji istniejących rozwiązań.
• Możliwość korzystania z nowoczesnych narzędzi AI wspierających programowanie.
• Możliwość rozwoju w kierunku Senior Data Engineera, ML Platform Engineera, Tech Leada lub Architekta Danych.