Profilbild von Rodrigo Herrn Lead Data Engineer aus Muenchen

Rodrigo Herrán

teilweise verfügbar

Letztes Update: 29.03.2024

Lead Data Engineer

Firma: Freelancer
Abschluss: MSc. Information and Media Technologies
Stunden-/Tagessatz: anzeigen
Sprachkenntnisse: deutsch (verhandlungssicher) | englisch (verhandlungssicher) | spanisch (Muttersprache)

Dateianlagen

Rodrigo-Herran-Certification-Azure-Data-Engineer-DP203_080324.pdf
Rodrigo-Herran-Certification-Kafka-CCDAK_080324.pdf
Rodrigo-Herran-CV-Data-Engineer-EN-20240308_080324.pdf
Rodrigo-Herran-Endzeugnis-NTT-DATA-DACH_080324.pdf
Rodrigo-Herran-Endzeugnis-Senvion-SA-REpower_080324.pdf
Rodrigo-Herran-Endzeugnis-Telefonica-Deutschland_080324.pdf

Skills

Lead DevOps & Data Engineer -
  • Entwicklung Big Data Plattformen für Batch und Real Time Streaming mit Azure DevOps, CDWH und Databricks.
  • Entwicklung Webapplikationen mit Microservices Architektur.
  • CI/CD Pipelines. Testautomatisierung; Schnittstellenintegration, Last- und einheitliche Tests und Deploymentmanagement.
  • Kundenberatung durch technische und fachliche Anforderungsanalyse.
  • Kundenbetreuung, Team-Koordinierung und Coaching.

Projekthistorie

01/2024 - 12/2024
Azure Data Engineer / Architekt
Denner AG / Callista AG (Konsumgüter und Handel, 1000-5000 Mitarbeiter)


03/2023 - 12/2023
Telefonica Deutschland O2 - CDWH Senior Azure Databricks Entwickler
Telefonica Deutschland in partnerschaft mit Confiniti GmbH/ORAYLIS GmbH (Internet und Informationstechnologie, 500-1000 Mitarbeiter)

* Migration von Oracle Exadata onPrem nach Azure Databricks. Build/ Manage Azure CDWH mir Azure DevOps, Synapse und ADLS Gen2.

01/2020 - 10/2022
Data Engineer - Deutsche Börse - EUREX Securities and Clearings Service
NTT Data für die Deutsche Börse (Banken und Finanzdienstleistungen, 5000-10.000 Mitarbeiter)

Die neue Wertpapier Clearingplattform C7 SCS („C7 Securities Clearing Service“) wurde am 30 September 2021 gelaunched und ist als neues Quellsystem für Datenströme an die bestehende Big Data Plattform angebunden worden. Das Projekt beinhaltet die Entwicklung einer Reporting und Analyse Lösung für diese neue Plattform auf Basis eines Big Data Technologie Stacks. Ein wesentlicher Bestandteil der Lösung ist es, auf Basis von mehreren Millionen Transaktionen pro Tag Vorberechnungen und Datenaufbereitungen durchzuführen und über eine Schnittstelle in XML Format an über 200 Banken weltweit bereitzustellen.

  • Entwicklung eines Clients für die Integration von Realtime Handelsdaten in Swift und Google Protobuf Format nach Apache Kafka und Hadoop.

  • Entwicklung einer Streaming- und Batch Anwendung für Real- und Neartime sowie End- of-Day Reporting mit Scala und Apache Spark.

  • Aufbau des Big Data Pipelines mit dem Orchestration-Tool Control-M.

  • Migration von On-premise Spark Jobs mit HDFS/Yarn Cluster nach AWS EC2 Instanzen mit S3 als Speichersystem.

  • Kommunikation und Vorstellung des Entwicklungsstandes im Team und beim Kunden & Abstimmung der Zielarchitektur.

  • Coaching und Einarbeitung.

 

Links:

  • https://www.eurex.com/ec-en/support/initiatives/c7-scs-releases
    https://www.clearstream.com/clearstream-en/


09/2022 - 09/2022
Software Engineer - BMW - Zentrales Händlerzuweisung vernetztes Auto
NTT DATA DACH für BMW (Automobil und Fahrzeugbau, 5000-10.000 Mitarbeiter)

Rolle Software Engineer
  Projektinhalte
  • Entwicklung von Backend Systeme mit Micro-Services Architektur in Java 7/8 mit Payara Server, mit dem Ziel, remote Dienstleistungen für vernetztes Autos anzubieten. ZHS ist ein Backendsystem, die Anfragen vernetztes Autos entgegennimmt, die dazu gezielt sind, ein alternatives Service Partner zu finden durch unterschiedliche Business Units und nach Einhaltung von strengen Übereinstimmungsregeln.

  • Hauptzweck der Architektur ist das Einbinden von Partnersysteme in einer komplexen und diversen Nachbarschaft von Applikationen via REST und Soap Schnittstellen, sowie Message Queues und Kafka. Diese Partnersysteme werden angefragt nach Information, die für die Service-Partner Zuweisung notwendig ist. Jedes System stellt zur Verfügung eine Vielfalt von REST Schnittstellen mit Swagger.


10/2017 - 12/2019
DevOps Engineer - BMW - Infotainment - Audio & Video Services für vernetztes Auto
NTT DATA DACH für BMW (Automobil und Fahrzeugbau, 5000-10.000 Mitarbeiter)

Das Auto nimmt durch die Webapplikation in seiner Head-Unit die Anfrage des Kunden entgegen. Leitet sie weiter an die Backendsysteme, die dementsprechend validieren sie und leiten sie weiter an die jeweiligen Musikanbieter. Wenn die verschlüsselte Response ankommt, die mit dem AES Algorithmus verschlüsselt ist, das Backend stellt eine Anfrage an den Verschlüsselungsdienst zwecks die Metadaten und den digitalen Inhalt zu entschlüsseln, bereitet die Information auf und leitet sie an die Webanwendung, damit das Audio und Video abgespielt werden kann. Zudem sind Kundeabonnements, Test- und Showrooms Kontos und Gutscheine verwaltet. Agile(Scrum) Arbeitsweise mit 2-Wochen Sprints, Schätzung auf Basis von SP/US.

Gebaut in Java 7/8, mit Einbindung zu Postgres-Datenbanken und Redis Severs, der Hauptzweck der Microservices Architektur ist das Einbinden von einer komplexen und diversen Nachbarschaft von Partnersysteme von BMW sowie Musikanbietern und weitere Dienstleisten via REST Schnittstellen, um einen vollständigen Infotainment-Dienst zu leisten.

Eine CI/CD Pipeline wurde mit Jenkins umgesetzt. Die Java Code wird aus Git auscheckt, JUnit Testing wird ausgeführt sowie Codequalität Analyse auf einem SonarQube Server. Ein Openshift/Kubernetes Deployment wird danach gemacht, und dazu, die Verwendung von Flyway Skripte für Datenbank Version Kontrolle, Integration-, Smoke- und Load Testing mit REST Assured und Gatling. Das Monitoring wird mit ELK, Prometheus und Grafana durchgeführt.

  • Hauptentwickler des Back-Ends vom Produkt „BMW Music“.

  • Dokumentation IT-Konzept, Schnittstelle Verträge und Betriebshandbücher.

  • Coaching der Operation- und Development Kollegen.

  • Deployment Management in 4 Umgebungen

Umgebungen:

  • DEVELOPMENT - für Entwicklung innerhalb isolierter Umgebung.

  • INTEGRATION – Für Integrationstest mit BMW Partner Systeme und Musik- und Audioanbieter.

  • END-2-END - Kundentest und Integration mit dem Auto.

  • PRODUKTION - Verbindung mit rund 27K Autos

     

Links:

https://www.bmw.de/de/shop/ls/dp/Base_BMW_Music_de


04/2012 - 12/2013
Software Engineer - Student - Senvion –Datenanalyse im Bereich der "Leistungsauswertung der Windkraftanlagen'' – Praktikum - IT Analyst und Entwickler
Senvion (Energie, Wasser und Umwelt, 500-1000 Mitarbeiter)

Rolle Software Engineer - Student Projektinhalte

Abschlussarbeit: "Entwurf eines statistischen Modells zur Schätzung der Leistung von einzelnen Windkraftanlagen und gesamten Windparks“. Schlägt eine alternative Methode vor, um die Leistung einer Windturbine einzuschätzen. Dabei wurde anhand Daten aus der SCADA System wie Windgeschwindigkeit –und Richtung, Feuchtigkeit, Temperatur, Atmosphärendruck, sowie Signalen aus der Turbine, verschiedene Regressionsanalyse verwendet, mit dem Zweck, die Beziehung zwischen den klimatischen Faktoren und die Leistung der Turbine. Anhand dieser Information wird es möglich, Defekte in der Turbine zu identifizieren.

Aufgaben:

  • Daten Plausibilisierung und Aufbereitung in CSV Dateien und SQL Server.

  • Umsetzung mathematischen Algorithmen in R

  • Datenanalyse von Wind und Wetterdaten aus SCADA und Erstellung von Grafiken

anhand Visualisierungstools in R


Zertifikate

Microsoft Certified: Azure Data Engineer Associate
2024
Confluent Certified Developer for Apache Kafka
2019

Reisebereitschaft

Nur Remote verfügbar
Profilbild von Rodrigo Herrn Lead Data Engineer aus Muenchen Lead Data Engineer
Registrieren