Entwickler (Big) Data ETL Pipelines

Beschreibung

Für unseren Kunden suchen wir aktuell in München einen (Big) Data ETL Pipeline Berater Start: 04.07.2018

Ende: 31.12.2018

Einsatzort: München

Auslastung: Vollzeit Projektdetails:

Entwicklung von (Big) Data ETL Pipelines:

- Daten Extraktion (aus Oracle Data Warehouse und Hadoop Cluster)

- Data Cleansing

- Quality Check

- Aggregation

- Visualisierung

- Entwicklung von SQL Statements auf Basis spezifischer Anforderungen und - Speicherung der Ergebnisse in SQL Datenbanken

- Prüfung der Ergebnisqualität

- Fachliche Beratung bei der Durchführung von Data Science Projekten

- Fachliche Beratung des Teams bei der Weiterentwicklung der ETL Prozesse

- Fachliche des Teams beim Einstieg in die Nutzung von Amazon Web Services (AWS)

ERFORDERLICHE QUALIFIKATIONEN:

- Tiefe SQL Erfahrung

- Gute Erfahrung mit Versionierungstools (Git)

- Erfahrung mit Big Data Technologien insb. Spark (Scala + PySpark), Yarn, Hive, Hadoop (+ 1 Jahr )

- Gute Kenntnisse in der Arbeit mit AWS Services, insb. EMR, EC2, S3

- Kenntnisse im Umgang mit DataScience-Frameworks: z. B. Python (pandas, Sci-kit Learn)

- Sicher in Linux und Scripting mit bash und Python

- Vorteilhaft sind Kenntnisse mit ML-frameworks (tensorflow, keras, etc) - Vorteilhaft sind Kenntnisse in Scala und Java

- Gute Kommunikationsfähigkeiten in Deutsch und Englisch

If this interests you

Kontakt Name: Spoorthy Suneel

Kontakt Nummer:

Michael Bailey International is acting as an Employment Business in relation to this vacancy.