Jobs11
Berlin, München, Dresden
7. Juni 2023

Data Platform Engineer (m/w/d)

Als Data Platform Engineer (m/w/d) im Team Data Innovation der IT4IPM bist Du verantwortlich für Development & Operations einer Self-Service Cloudplattform für explorative Analysen und Reporting mit den GEMA-Daten. Gemeinsam mit einem Team aus Data Engineers, Software- und Enterprisearchitekten, Data-Scientists und ML-Engineers entwickelst Du die Daten-Infrastrukturen und den Data-Science-Technologiestack kontinuierlich weiter und verantwortest eine zentrales Cloud-basiertes Lakehouse – basierend auf modernen Technologien wie Databricks und BigQuery. Deine Tätigkeit ist geprägt von einem hohen Maß an Eigenverantwortung.

Deine Aufgaben

  • Verantwortung für die technologische Weiterentwicklung von Lakehouse und Self-Service Analytics-Infrastruktur
  • Technologiescreening, -test und -bewertung für künftige Weiterentwicklungen
  • Kontinuierliche Automatisierung der Plattform
  • Enge Zusammenarbeit mit den internen KI- und Data-Science-Teams
  • Verantwortung für Betrieb der Data-Platform im Sinne eines Site Reliability Engineering (SRE) Ansatzes
  • Unterstützung in Einzelfällen bei der Implementierung von herausfordernden EL(T)-Pipelines (mit Databricks/Spark) zu internen und externen Datenquellen

Deine Qualifikationen

  • Abgeschlossenes Studium in einem relevanten Bereich (z. B. Informatik, Data Science, Mathematik) oder vergleichbare Qualifikation
  • Fundierte Erfahrung im Aufbau und Betrieb eines größeren Platform-Engineering-Projekts
  • Sehr gute Kenntnisse im Umgang mit Terraform
  • Sehr gute Kenntnisse und einem der großen Hyperscaler (GCP ist ein Plus), inklusive IAM, Network und den gängigen für Daten wichtigen First-Party Cloud Services des Hyperscalers
  • Sehr gute Kenntnisse in Python und SQL (Scala und Java sind ein Plus)
  • Fundierte Kenntnisse im Umgang mit Spark (Databricks ist ein Plus), Docker und Kubernetes
  • Fundierte Kenntnisse von Streaming-Technologien (Kafka ist ein Plus)
  • Fundierte Kenntnisse von gängigen Konzepten des Data Engineerings (CDC, Lakehouse-Architektur, ELT- und ETL-Prozesse, …)
  • Neugier, Technologieaffinität und Gestaltungsfreude
  • Ausgezeichnete Teamfähigkeit und Kommunikationsstärke
  • Gute Beherrschung der deutschen und englischen Sprache (in Wort und Schrift)

Wir freuen uns auf Deine aussagekräftigen Bewerbung. Hier geht es zum Online-Bewerbungsformular.