07.07.2026 aktualisiert
Premiumkunde
100 % verfügbar(Senior) Data Engineer / Data Architect
Oldenburg, Deutschland
Deutschland
B.Sc. EconomicsSkills
dbtData AnalysisBig DataData ArchitectureDateninfrastrukturDatenmanagementData WarehousingPythonSQLSnowflakeData LakeDatabricks
Ich bin ein erfahrener Data Architect/Engineer mit mehr als neun Jahren Erfahrung in den Bereichen Data Analytics und Business Intelligence. Ich bringe umfassende Kenntnisse in der Entwicklung und Implementierung innovativer analytischer Use Cases mit, die über traditionelle Dashboards hinausgehen.
Meine Expertise liegt in der Konzeption skalierbarer Datenmanagement-Architekturen, der Umsetzung von Cloud-nativen Datenlösungen und der Entwicklung robuster, kosteneffizienter Datenpipelines. Mit einer nachgewiesenen Erfolgsbilanz in Teamführung und Budgetmanagement verfolge ich stets das Ziel, transformative Datenstrategien voranzutreiben, optimale Geschäftsergebnisse zu erzielen.
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2021
Sprachen
DeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
Architektur einer unternehmensweit einheitlich Datenplattform und Einführung von Data Engineering Best Practices
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen im Self-Service versorgt. Entsprechend war eine performante, skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren, die perspektivisch sowohl BI als auch ML-Use Cases ermöglicht. Aufgrund der Unternehmensgröße und regulatorischen Anforderungen lag ein besonderes Augenmerk auf der Bereitstellung von getesteten (Data Testing/Observability) und sicheren (Encryption & PII-Hashing) ELT-Strecken.
Technologien: Databricks (Data Asset Bundles (dbx), Delta Live Tables, Structured Streaming uvm.), data build tool, diverse AWS-Cloudkomponenten, Prefect, Plotly, Power BI, OpenMetadata, Github Actions, Pytest, Pydantic, FastAPI, Terraform
Projektmanagement und -dokumentation: Confluence, Jira, MkDocs, Microsoft Teams
Sprachen: SQL, Python, HCL, Bash
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen im Self-Service versorgt. Entsprechend war eine performante, skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren, die perspektivisch sowohl BI als auch ML-Use Cases ermöglicht. Aufgrund der Unternehmensgröße und regulatorischen Anforderungen lag ein besonderes Augenmerk auf der Bereitstellung von getesteten (Data Testing/Observability) und sicheren (Encryption & PII-Hashing) ELT-Strecken.
- Als Interim Product Owner verantwortete ich das technische Design und die Entwicklung einer unternehmensweiten Datenplattform unter Verwendung des Databricks Ecosystems in AWS.
- Ich führte agile Arbeitsprinzipien und Scrum-Methoden in das Team bestehend aus sechs Data & Analytics Engineers ein und verbesserte somit die Zusammenarbeit und Effizienz bei der Projektdurchführung, u.A. mit Jira und Confluence.
- Einnahme einer Schlüsselrolle bei der Implementierung eines Hub-and-Spoke-Analytics-Betriebsmodells und Förderung der organisatorischen Anpassung an die neue Arbeitsweise.
- Implementierung einer Medaillon-Architektur für Datenmanagement und Governance, die eine skalierbare Grundlage für die Wiederverwendung von Daten, (GDPR-)Compliance und granulare Zugriffskontrollen bietet.
- Entwurf und Entwicklung eines robusten, echtzeitnahen Datenintegrations-Frameworks, das die nativen Streaming-Fähigkeiten von Prefect & Databricks nutzt, um Daten aus einer Vielzahl von Quellsystemen zu extrahieren, darunter APIs, Kafka, relationale Datenbanken und halbstrukturierte Dateien im Objektspeicher.
- Etablierung eines Code-First-Ansatzes im Team, Einführung von DevOps-Prozessen einschließlich Data Contracts, Unit-/Integrationstests, CI/CD mit GitHub Actions und Infrastructure as Code mit Terraform.
- Einführung von Modellierungsrichtlinien und eines Datentest-Frameworks zur Erstellung eines standardisierten und vertrauenswürdigen Datenmodells unter Verwendung der Kimball-Notation, ausgeführt mit SQL und data build tool (dbt).
Technologien: Databricks (Data Asset Bundles (dbx), Delta Live Tables, Structured Streaming uvm.), data build tool, diverse AWS-Cloudkomponenten, Prefect, Plotly, Power BI, OpenMetadata, Github Actions, Pytest, Pydantic, FastAPI, Terraform
Projektmanagement und -dokumentation: Confluence, Jira, MkDocs, Microsoft Teams
Sprachen: SQL, Python, HCL, Bash
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Architektur einer unternehmensweit einheitlich Datenplattform und Einführung von Data Engineering Best Practices
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen im Self-Service versorgt. Entsprechend war eine performante, skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren, die perspektivisch sowohl BI als auch ML-Use Cases ermöglicht.
Technologien: Snowflake, data build tool, diverse Azure-Cloudkomponenten, Airflow, OpenMetadata, Github Actions, Terraform
Projektmanagement und -dokumentation: Confluence, Jira, Microsoft Teams
Sprachen: SQL, Python, HCL, Bash
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen im Self-Service versorgt. Entsprechend war eine performante, skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren, die perspektivisch sowohl BI als auch ML-Use Cases ermöglicht.
- Schlüsselrolle beim Start eines unternehmensweiten Entwicklungsprojekts, bei dem eine zentralisierte Datenplattform auf der Grundlage von Snowflake- und Azure-Komponenten aufgebaut und gleichzeitig die Migration von einem Legacy-Stack unterstützt wurde.
- Verantwortlich für die Implementierung eines End-to-End-Pilotprojekts mit Azure Data Factory, in dem IoT-Rohdaten, die in einer MSSQL-Datenbank gespeichert waren, in Snowflake unter Verwendung von CDC-Mechanismen in nahezu Echtzeit repliziert wurden.
- Einführung und Durchsetzung von Modellierungsrichtlinien zur Erstellung eines unternehmensweit einheitlichen Datenmodells auf Basis der Data Vault-Notation unter Verwendung von SQL und dem Data Build Tool (dbt).
- Management des initialen Aufbaus und der Bereitstellung wichtiger Snowflake-Komponenten wie Warehouses, Roles und Policies unter Verwendung von Terraform.
- Unterstützung bei der Entwicklung einer robusten Data-Governance-Strategie, die die Einhaltung interner Datenzugriffsregeln, externer Branchenvorschriften und GDPR-Anforderungen gewährleistet.
- Bereitstellung umfassender Schulungen und Dokumentationen, um interne Teams in die Lage zu versetzen, Snowflake und das Data Build Tool (dbt) zu nutzen.
Technologien: Snowflake, data build tool, diverse Azure-Cloudkomponenten, Airflow, OpenMetadata, Github Actions, Terraform
Projektmanagement und -dokumentation: Confluence, Jira, Microsoft Teams
Sprachen: SQL, Python, HCL, Bash
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Modernisierung der Analysefähigkeiten in einem On-Premises-Umfeld
Herausforderung: Der Klient operiert in einem margensensitiven Wettbewerbsumfeld und wollte seine Reportingmechanismen modernisieren. Die bisherige Analysefähigkeiten waren auf ERP-interne Standardauswertungen beschränkt, wenig interaktiv und nur bedingt aussagekräftig. Die interne Systemlandschaft nutzte ausschließlich On-Premises-Komponenten in teils veralteten Softwareversionen. Entsprechend waren sichere und zugleich performante Ladestrecken in die AWS-Cloud zu entwickeln, die großvolumige Transaktionsdaten inkrementell mittels Change Data Capture-Mechanismen übertragen.
- Konzeption und Implementierung einer (hoch-)sicheren, kosteneffizienten Datenplattform in der Amazon AWS Cloud
- Entwicklung einer inkrementellen CDC-Ladenstrecke zwischen Microsoft SQL Server (ERP-System) und Snowflake als analytische Datenbank (Data Warehouse) mittels custom Airbyte Konnektor
- Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels data build tool (dbt) unter Nutzung von Snowflake – Sprachen: SQL
- Orchestierung der ELT-Datenladestrecken mittels Prefect und Alarmierungsmechanismen via Microsoft Teams
- Umsetzung der Infrastruktur nach AWS-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Github, Airbyte, dbt, Power BI, Snowflake, Amazon AWS, AWS EC2, Docker, Microsoft SQL Server
Projektmanagement: Confluence, Asana, Microsoft Teams
Sprachen: SQL, Python
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)