Lead Data Engineer (Architekt)
ScaleIT GmbH
Ansprechpartner: Gregor Warner
Wien, Österreich
ITMicrosoft AzureData ArchitectureData CentersData ControlDateninfrastrukturData IntegrationDatenmanagementDatenstrukturDatenendeinrichtungDaten-VirtualisierungDigitale ArchitekturEnterprise Architecture FrameworkInformationsarchitekturData IntelligenceData Access LayerDataOpsAzure Data LakeDatenbank-EnginesTechnische DatenDatenverarbeitungAzure Data FactoryDatenstrategieData LakeDatenprogrammierungAWS Data AnalyticsCitect SCADAAzure Data AnalyticsDaten-PipelineDatabricks
Beschreibung
Lead Data Engineer / Data Architect (m/w/d)
Für unseren Kunden suchen wir im Rahmen eines sehr spannenden Projektes einen erfahrenen Lead Data Engineer / Data Architect (m/w/d), der die technische Konzeption, Architektur und Weiterentwicklung komplexer Datenmanagementlösungen verantwortet.
Im Fokus steht die ganzheitliche Betrachtung und Steuerung von End-to-End-Datenprozessen über sämtliche Datenmanagement Layer hinweg – von der Datenintegration über die Transformation und Harmonisierung bis hin zur Bereitstellung zentraler Datenprodukte.
Gesucht wird eine technisch versierte Persönlichkeit mit ausgeprägtem Architekturverständnis, fundierter Entwicklungserfahrung und der Fähigkeit, komplexe Datenmanagement-Use-Cases technisch zu führen und nachhaltig weiterzuentwickeln.
Aufgaben und Verantwortlichkeiten
- Technische Führung und Architekturverantwortung bei der Konzeption und Umsetzung komplexer Datenmanagementlösungen innerhalb der Datenfabrik
- Übernahme der Rolle als technischer Lead sowie fachliche Anleitung und Unterstützung der Data Engineers im Entwicklungsteam
- Ganzheitliches Architekturdesign und technische Steuerung von End-to-End-Datenprozessen über verschiedene Datenmanagement-Layer hinweg
- Konzeption und Weiterentwicklung skalierbarer Datenarchitekturen unter Einsatz von Azure und Databricks
- Architektur und Design vollständiger Datenstrecken – vom Data Lake über harmonisierte zentrale Datenmodelle bis hin zu zentralen Datenprodukten mit mehreren Abnehmern
- Definition technischer Standards, Best Practices und Architekturprinzipien für die Entwicklung produktionsreifer Data Pipelines
- Technische Bewertung komplexer Anforderungen sowie Ableitung nachhaltiger und wartbarer Lösungsarchitekturen
- Konzeption und Implementierung anspruchsvoller ETL-/ELT-Prozesse sowie Sicherstellung einer konsistenten Datenintegration
- Durchführung von Architektur- und Code-Reviews sowie Sicherstellung der technischen Qualität innerhalb des Entwicklungsteams
- Enge Abstimmung mit Systemarchitekten, Product Ownern und weiteren Stakeholdern zur Sicherstellung einer durchgängigen technischen Architektur
- Verantwortung für technische Qualitätssicherung, Integrationstests sowie die Begleitung von Release- und Deployment-Prozessen
- Mitarbeit in einem agilen Product Team nach SAFe
Technologische Anforderungen (Must-haves)
- Databricks: Fundierte Erfahrung mit der Architektur, Entwicklung und Optimierung komplexer Datenplattformen
- Microsoft Azure: Sehr gute Kenntnisse im Aufbau und Betrieb cloudbasierter Datenarchitekturen
- Python, PySpark und Pandas: Umfangreiche praktische Entwicklungserfahrung im Bereich Data Engineering
- SQL: Sehr gute Kenntnisse in Datenmodellierung, Datenverarbeitung und Performanceoptimierung
- ETL/ELT: Tiefgehendes Verständnis moderner Datenintegrations- und Transformationsarchitekturen
- Data Lake & Data Architecture: Erfahrung mit mehrschichtigen Datenarchitekturen, harmonisierten Datenmodellen und zentralen Datenprodukten
Fachliche und persönliche Anforderungen (Must-haves)
- Mehrjährige Erfahrung als Lead Data Engineer, Data Architect, Technical Lead oder Senior Data Engineer mit Architekturverantwortung
- Nachweisbare Erfahrung in der technischen Leitung komplexer Data-Engineering- oder Datenmanagementprojekte
- Ausgeprägtes Verständnis für End-to-End-Datenarchitekturen und komplexe Datenflüsse über unterschiedliche System- und Datenmanagement-Layer
- Fähigkeit, technische Architekturentscheidungen eigenständig zu treffen, zu begründen und deren Umsetzung zu begleiten
- Erfahrung in der technischen Anleitung von Entwicklerteams sowie in der Durchführung von Architektur- und Code-Reviews
- Fundierte Kenntnisse agiler Softwareentwicklungsprozesse, idealerweise nach SAFe
- Sehr gutes Verständnis des Software Development Lifecycle (SDLC), Testmanagements und strukturierter Release-Prozesse
- Fähigkeit, komplexe technische Zusammenhänge verständlich für technische und nicht-technische Stakeholder aufzubereiten
- Ausgeprägte Kommunikationsfähigkeit sowie eine strukturierte, lösungsorientierte und eigenverantwortliche Arbeitsweise
Rahmenbedingungen
Projekt: Datenfabrik
Position: Lead Data Engineer / Data Architect (m/w/d)
Start: ASAP
Auslastung: 100 % / Vollzeit
Projektdauer: Langfristig
Einsatzort: Überwiegend Remote, ca. 3–4 Tage pro Monat vor Ort in Wien
Reisebereitschaft: Erforderlich
Sprache: Deutsch mindestens C1
Gesuchtes Profil
Wir suchen ausdrücklich keinen klassischen Data Engineer mit rein operativem Entwicklungsschwerpunkt, sondern eine erfahrene technische Führungspersönlichkeit, die sowohl auf Architekturebene als auch in der praktischen Entwicklung sicher agiert.
Der ideale Kandidat verbindet fundierte Hands-on-Erfahrung mit der Fähigkeit, komplexe Datenarchitekturen ganzheitlich zu gestalten, technische Entscheidungen voranzutreiben und andere Entwickler bei deren Umsetzung anzuleiten.