Beschreibung
Aufgaben:·Innovation and implementation of the cloud Data Lake platform infrastructure as the basis for data engineers to work with their data.
·Optimize existing infrastructure and data transformation pipelines to become more scalable = Self Service ability.
·Optimize data provisioning workflow to allow real time replication of data from on-premises into Data Lake (AWS).
·Implement new features like provider or consumer connections as IaaC (e.g., PowerBI connection towards AWS).
·Implement cost optimizations as part of the platform.
·Implement test cases as part of development process.
·Support solution architects to define the software architecture.
·Taking end to end responsibility for changes throughout delivery pipeline.
Must-Have-Skills:
·Erfahrung im Bereich Data Lake
·Hands on Mentalität
·Agile Arbeitsweisen
·Sehr gute Cloudkenntnisse, insbesondere mit Oracle und AWS
·Sehr gutes Verständnis von Spark und Hadoop; generell gutes Verständnis für das Big Data Umfeld
·Sehr gute Programmierkenntnisse in Phyton & Pyspark
·Wir suchen eine Person, die Probleme löst und gutes Datenverständnis mitbringt. Sowie vielleicht 10 Jahre Erfahrung in der Programmierung mitbringt (egal welche) und sich dann seit 2-3 Jahren mit AWS und Daten auseinandersetzt. Der Kunde benötigt jemanden, der nach der 1. Woche performt.
Nice-to-Have-Skills:
·Toolkenntnisse in Airflow & Terraform
Start: 11.10.2021
Dauer: 31.12.2021++
Einsatzort: Wien, Österreich (100% remote)
Branche: Banken
Auslastung: 100%