Schlagwörter
Skills
Auf der Basis langjähriger Erfahrung im DataEngineering- und Projektmanagement-Bereich in mittelständischen Unternehmen biete ich:
- Durchführung von Entwicklungsaufgaben im Bereich Data Warehouse (DWH), ETL und Geodaten}
- Ablösung/Migration von relationalen Datenbanken (insb. Oracle und PostgreSQL)
- Unterstützung bei der Überführung Ihrer Datenbank in die Cloud (AWS, GCP)
- Performance-Optimierung ihrer Datenbankabfragen und -prozesse
Ihr Nutzen
In Zusammenarbeit Ihres Teams mit mir haben Sie folgenden Nutzen:
- Die Optimierung und Beschleunigung von Datenprozessen bringt Ihre Daten schneller ans Ziel und ermöglicht ihnen zeitnahere Analysen.
- Die Ablösung/Migration ihrer Datenbank erfolgt professionell und mit kleinstmöglicher Downtime.
- Kompetenzerweiterung ihres Teams durch die technische Begleitung beim Aufbau/Betrieb der Cloud-Prozesse.
- Bessere und schnellere Datenbankabfragen und -prozesse erhöhen die Zufriedenheit ihrer Kunden.
- Schwerpunkte
- ETL-/DWH-Entwicklung
- Datenbank-Migration (Upgrades bestehender Datenbanken; Migration zu anderen relationalen Datenbanken)
- Datenbank-Performance-Optimierung
- Datenbanken
- Google BigQuery
- Oracle-Database (Oracle Database 12c Administrator Certified Associate, Oktober 2016)
- PostgreSQL
- MySQL
- MariaDB
- MongoDB
- Cloud-Dienste
- Amazon Web Services (AWS)
- Google Cloud Platform (GCP)
- Tools
- Bash
- Data Vault
- Docker
- git
- Linux
- Python
- Talend Studio
- Terraform
Projekthistorie
(Technologien: Python, Snowflake, AWS, Pandas, Jupyter Notebook)
Meine Tätigkeit umfasste die technische Unterstützung des ETL-Teams eines großen deutschen E-Commerce-Anbieters für Elektronikartikel; die ETL-Infrastruktur bestand aus 300 bis 400 ETL-Jobs. Dabei war ich zum einen für die Erstellung, Änderung und Optimierung von ETL-Jobs mittels Talend Studio DI und zum anderen bei der Planung der ETL-Prozesse und der Priorisierung der Aufgaben für ein Team bis zu 5 Mitarbeitern zuständig. In den 5 Jahren im Projekt wurden drei verschiedene Talend-Versionen (5.3.1, 6.2.1, 7.0.1) benutzt. Beim Upgrade der Talend Studio-Versionen inkl. der dazugehörigen Infrastrukturkomponenten (Talend Administration Center, Nexus, git/SVN) übernahm ich die technische Koordination der notwendigen Schritte in Abstimmung mit internen und externen Mitarbeitern. Zur Zusammenführung der Daten aus verschiedenen Quellsystemen wurde eine zentrale Datenbank mit einer Größe von circa 2 TB benutzt; bis 2017 war diese eine Oracle Datenbank in der Version 11g R2, danach erfolgte unter meiner Koordination die Migration der Datenbank auf PostgreSQL 9.6 und die Überführung der ETL-Infrastruktur in die Cloud (Google Cloud Platform unter Benutzung von "Cloud SQL" für die Datenbank und VMs für die Infrastrukturkomponenten).
Meine Aufgabe war die Projektkoordination und Umsetzung von ca. 80 Geodaten-Migrationen für Versorgungsnetzwerke (Abwasser, Strom, Gas) für einen schweizer GIS-Anbieter, der die GIS-Aufgaben für ungefähr 50 schweizer Gemeinden/Orte wahrnimmt. Die Migrationen erfolgten von der Oracle Datenbank 9 auf Oracle Datenbank 11g R2. Zusätzlich führte ich verschiedene Anpassungsprogrammierungen für Autodesk Topobase mittels C#/VB.NET für den Kunden durch.