Beschreibung
Für ein datenintensives Projekt im Bankenumfeld suchen wir einen erfahrenen Cloud Data Architect / Lead Data Engineer mit tiefem Know-how in der Google Cloud Platform (GCP).
Der Fokus liegt auf dem Design und der Umsetzung skalierbarer Datenpipelines, der Orchestrierung von Batch- und Streaming-Workflows, sowie dem Aufbau und der Optimierung von Data Lakes.
Der Spezialist wird Teil eines 20-köpfigen agilen Teams und unterstützt sowohl interne Entwickler als auch externe Partner beim Aufbau einer modernen Dateninfrastruktur.
!!! Kundeninterview am 03.07.2025 ab 15 Uhr möglich !!!
Aufgaben
• Design und Implementierung skalierbarer ETL-/ELT-Datenpipelines in GCP (Batch & Streaming)
• Aufbau, Pflege und Optimierung eines Data Lake auf GCP
• Nutzung und Integration von Tools wie BigQuery, Dataflow (Apache Beam), Pub/Sub, Cloud Storage
• Entwicklung und Orchestrierung von Workflows mit Cloud Composer (Airflow) und Apache Beam
• Auswahl geeigneter Partitions- und Datenmodellierungsstrategien
• Performance-Tuning und Monitoring von Datenverarbeitungsprozessen
• Unterstützung und technische Führung im Team, inkl. Onboarding externer Spezialisten
• Zusammenarbeit mit Business-Analysten, Data Scientists und Produktverantwortlichen
?? Must-Have Skills
• Erfahrung als Lead Data Engineer oder Data Architect
• Tiefe Kenntnisse in der Google Cloud Platform (GCP), insbesondere:
? BigQuery
? Dataflow (Apache Beam)
? Pub/Sub
? Cloud Storage
? Cloud Composer (Airflow)
• Sicherer Umgang mit Python und SQL (Java oder Go von Vorteil)
• Erfahrung mit ETL-/ELT-Architekturen, Streaming & Batch Processing
• Kenntnisse in Datenmodellierung, Partitionierung, Fehlertoleranz, Skalierbarkeit
• Praktische Erfahrung im Aufbau von Data Lakes
• Kenntnisse in Monitoring, Logging und Performance-Optimierung in GCP
Hast Du freie Kapazitäten und kannst unseren Kunden unterstützen oder hast du eine Empfehlung für mich?
Ich freue mich auf Deine Rückmeldung mit der Projektnummer folgenden Informationen an :
• aktuelle Projektverfügbarkeit (frühester Start)
• maximale Auslastung/Woche insgesamt
• Stundensatz
• aktuelles Profil (idealerweise im pdf Format)
• Einschätzung zu den geforderten Anforderungen
Wir bearbeiten alle Rückmeldungen und geben immer unser Bestes, uns bei allen Kandidaten (m/w/d) zurückzumelden. Leider ist dies nicht immer möglich, wir bitten um Dein Verständnis. Wenn wir uns innerhalb von 5 Werktagen nicht bei Dir melden, gehe bitte davon aus, dass der Kunde sich für einen anderen Kandidaten entschieden hat.
Besten Dank
Der Fokus liegt auf dem Design und der Umsetzung skalierbarer Datenpipelines, der Orchestrierung von Batch- und Streaming-Workflows, sowie dem Aufbau und der Optimierung von Data Lakes.
Der Spezialist wird Teil eines 20-köpfigen agilen Teams und unterstützt sowohl interne Entwickler als auch externe Partner beim Aufbau einer modernen Dateninfrastruktur.
!!! Kundeninterview am 03.07.2025 ab 15 Uhr möglich !!!
Aufgaben
• Design und Implementierung skalierbarer ETL-/ELT-Datenpipelines in GCP (Batch & Streaming)
• Aufbau, Pflege und Optimierung eines Data Lake auf GCP
• Nutzung und Integration von Tools wie BigQuery, Dataflow (Apache Beam), Pub/Sub, Cloud Storage
• Entwicklung und Orchestrierung von Workflows mit Cloud Composer (Airflow) und Apache Beam
• Auswahl geeigneter Partitions- und Datenmodellierungsstrategien
• Performance-Tuning und Monitoring von Datenverarbeitungsprozessen
• Unterstützung und technische Führung im Team, inkl. Onboarding externer Spezialisten
• Zusammenarbeit mit Business-Analysten, Data Scientists und Produktverantwortlichen
?? Must-Have Skills
• Erfahrung als Lead Data Engineer oder Data Architect
• Tiefe Kenntnisse in der Google Cloud Platform (GCP), insbesondere:
? BigQuery
? Dataflow (Apache Beam)
? Pub/Sub
? Cloud Storage
? Cloud Composer (Airflow)
• Sicherer Umgang mit Python und SQL (Java oder Go von Vorteil)
• Erfahrung mit ETL-/ELT-Architekturen, Streaming & Batch Processing
• Kenntnisse in Datenmodellierung, Partitionierung, Fehlertoleranz, Skalierbarkeit
• Praktische Erfahrung im Aufbau von Data Lakes
• Kenntnisse in Monitoring, Logging und Performance-Optimierung in GCP
Hast Du freie Kapazitäten und kannst unseren Kunden unterstützen oder hast du eine Empfehlung für mich?
Ich freue mich auf Deine Rückmeldung mit der Projektnummer folgenden Informationen an :
• aktuelle Projektverfügbarkeit (frühester Start)
• maximale Auslastung/Woche insgesamt
• Stundensatz
• aktuelles Profil (idealerweise im pdf Format)
• Einschätzung zu den geforderten Anforderungen
Wir bearbeiten alle Rückmeldungen und geben immer unser Bestes, uns bei allen Kandidaten (m/w/d) zurückzumelden. Leider ist dies nicht immer möglich, wir bitten um Dein Verständnis. Wenn wir uns innerhalb von 5 Werktagen nicht bei Dir melden, gehe bitte davon aus, dass der Kunde sich für einen anderen Kandidaten entschieden hat.
Besten Dank