- Strona główna
- Lista ogłoszeń
- Data Engineer
Data Engineer

Data Engineer
-
Doświadczenie: Wymagane
-
Wymiar pracy: Pełen etat
-
Typ pracy: Praca hybrydowa

ORLEN PACZKA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
Podobne ogłoszenia
Opis
- Tworzenie i zarządzanie procesami harmonogramowania danych w Apache Airflow (DAGs, zależności, monitoring).
- Współpraca z zespołami BI, DevOps i Data Science w celu dostarczania kompletnych rozwiązań analitycznych.
- Identyfikacja wąskich gardeł i optymalizacja pipeline'ów danych pod kątem wydajności i niezawodności.
- Uczestnictwo w projektowaniu architektury danych oraz implementacja dobrych praktyk w zakresie data governance, bezpieczeństwa i monitoringu.
- Integracja danych z różnych źródeł (bazy danych, API, pliki, kolejki), budowa i wdrażanie skalowalnych rozwiązań ETL/ELT.
- Utrzymanie i rozwój infrastruktury danych (on-premise lub chmurowej), wspierającej potrzeby zespołów analitycznych i biznesowych.
- Budowa i utrzymanie pipeline'ów do przetwarzania danych strumieniowych przy użyciu Apache Kafka oraz Kafka Streams.
- Projektowanie, rozwój i optymalizacja procesów przetwarzania danych w środowiskach Big Data z wykorzystaniem Apache Spark (PySpark, Spark SQL).
Wymagania
- Bardzo dobra znajomość Apache Spark (PySpark, optymalizacja, przetwarzanie wsadowe i strumieniowe).
- Dobra znajomość SQL (w tym funkcje analityczne, tuning zapytań) i języka Python (ETL, biblioteki danych).
- Doświadczenie w pracy w zespołach zwinnych (Scrum, Agile).
- Umiejętność pracy z narzędziami CI/CD oraz konteneryzacją (Docker, Kubernetes).
- Doświadczenie z Apache Kafka (konsumenci, producenci, schematy, monitoring).
- Umiejętność pracy zespołowej, samodzielność w rozwiązywaniu problemów i chęć doskonalenia procesów.
- Znajomość języka angielskiego w stopniu umożliwiającym pracę z dokumentacją techniczną i zespołem międzynarodowym.
- Certyfikaty potwierdzające znajomość narzędzi Big Data (np. Databricks Certified, Confluent Kafka Developer).
- Znajomość Prometheus/Grafana do monitorowania pipeline'ów.
- Znajomość systemów kolejkowych (np. RabbitMQ), baz danych NoSQL (np. Cassandra, MongoDB) lub HDFS.
- Doświadczenie w pracy z rozwiązaniami chmurowymi (AWS/GCP/Azure) oraz narzędziami typu Databricks, Snowflake, BigQuery.
- Praktyczna znajomość Apache Airflow oraz umiejętność projektowania DAG-ów produkcyjnych.
- Zrozumienie zagadnień związanych z architekturą danych, bezpieczeństwem, jakością i niezawodnością pipeline’ów.
- Doświadczenie w pracy na stanowisku Data Engineer / Big Data Engineer (min. 3 lata w projektach danych produkcyjnych).
Oferujemy
- Zatrudnienie na podstawie Umowy B2B
- Pełną wyzwań pracę w polskiej, stabilnej firmie będącej członkiem grupy kapitałowej ORLEN S.A.
- Możliwość rozwoju zawodowego i poszerzania kompetencji w ramach udziału w wielu ciekawych projektach
- Niezbędne narzędzia pracy
Aplikujesz na:

Przekaż swoją aplikację
Pracodawca wymaga wypełnienia swojego formularza zgłoszeniowego.
Po kliknięciu przycisku zostaniesz przeniesiony poza serwis bliskopracy.pl.