Schlagwörter
Skills
Meine Expertise liegt in der Konzeption skalierbarer Datenmanagement-Architekturen, der Umsetzung von Cloud-nativen Datenlösungen und der Entwicklung robuster, kosteneffizienter Datenpipelines. Mit einer nachgewiesenen Erfolgsbilanz in Teamführung und Budgetmanagement verfolge ich stets das Ziel, transformative Datenstrategien voranzutreiben, optimale Geschäftsergebnisse zu erzielen.
Projekthistorie
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen im Self-Service versorgt. Entsprechend war eine performante, skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren, die perspektivisch sowohl BI als auch ML-Use Cases ermöglicht. Aufgrund der Unternehmensgröße und regulatorischen Anforderungen lag ein besonderes Augenmerk auf der Bereitstellung von getesteten (Data Testing/Observability) und sicheren (Encryption & PII-Hashing) ELT-Strecken.
- Als Interim Product Owner verantwortete ich das technische Design und die Entwicklung einer unternehmensweiten Datenplattform unter Verwendung des Databricks Ecosystems in AWS.
- Ich führte agile Arbeitsprinzipien und Scrum-Methoden in das Team bestehend aus sechs Data & Analytics Engineers ein und verbesserte somit die Zusammenarbeit und Effizienz bei der Projektdurchführung, u.A. mit Jira und Confluence.
- Einnahme einer Schlüsselrolle bei der Implementierung eines Hub-and-Spoke-Analytics-Betriebsmodells und Förderung der organisatorischen Anpassung an die neue Arbeitsweise.
- Implementierung einer Medaillon-Architektur für Datenmanagement und Governance, die eine skalierbare Grundlage für die Wiederverwendung von Daten, (GDPR-)Compliance und granulare Zugriffskontrollen bietet.
- Entwurf und Entwicklung eines robusten, echtzeitnahen Datenintegrations-Frameworks, das die nativen Streaming-Fähigkeiten von Prefect & Databricks nutzt, um Daten aus einer Vielzahl von Quellsystemen zu extrahieren, darunter APIs, Kafka, relationale Datenbanken und halbstrukturierte Dateien im Objektspeicher.
- Etablierung eines Code-First-Ansatzes im Team, Einführung von DevOps-Prozessen einschließlich Data Contracts, Unit-/Integrationstests, CI/CD mit GitHub Actions und Infrastructure as Code mit Terraform.
- Einführung von Modellierungsrichtlinien und eines Datentest-Frameworks zur Erstellung eines standardisierten und vertrauenswürdigen Datenmodells unter Verwendung der Kimball-Notation, ausgeführt mit SQL und data build tool (dbt).
Technologien: Databricks (Data Asset Bundles (dbx), Delta Live Tables, Structured Streaming uvm.), data build tool, diverse AWS-Cloudkomponenten, Prefect, Plotly, Power BI, OpenMetadata, Github Actions, Pytest, Pydantic, FastAPI, Terraform
Projektmanagement und -dokumentation: Confluence, Jira, MkDocs, Microsoft Teams
Sprachen: SQL, Python, HCL, Bash
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen im Self-Service versorgt. Entsprechend war eine performante, skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren, die perspektivisch sowohl BI als auch ML-Use Cases ermöglicht.
- Schlüsselrolle beim Start eines unternehmensweiten Entwicklungsprojekts, bei dem eine zentralisierte Datenplattform auf der Grundlage von Snowflake- und Azure-Komponenten aufgebaut und gleichzeitig die Migration von einem Legacy-Stack unterstützt wurde.
- Verantwortlich für die Implementierung eines End-to-End-Pilotprojekts mit Azure Data Factory, in dem IoT-Rohdaten, die in einer MSSQL-Datenbank gespeichert waren, in Snowflake unter Verwendung von CDC-Mechanismen in nahezu Echtzeit repliziert wurden.
- Einführung und Durchsetzung von Modellierungsrichtlinien zur Erstellung eines unternehmensweit einheitlichen Datenmodells auf Basis der Data Vault-Notation unter Verwendung von SQL und dem Data Build Tool (dbt).
- Management des initialen Aufbaus und der Bereitstellung wichtiger Snowflake-Komponenten wie Warehouses, Roles und Policies unter Verwendung von Terraform.
- Unterstützung bei der Entwicklung einer robusten Data-Governance-Strategie, die die Einhaltung interner Datenzugriffsregeln, externer Branchenvorschriften und GDPR-Anforderungen gewährleistet.
- Bereitstellung umfassender Schulungen und Dokumentationen, um interne Teams in die Lage zu versetzen, Snowflake und das Data Build Tool (dbt) zu nutzen.
Technologien: Snowflake, data build tool, diverse Azure-Cloudkomponenten, Airflow, OpenMetadata, Github Actions, Terraform
Projektmanagement und -dokumentation: Confluence, Jira, Microsoft Teams
Sprachen: SQL, Python, HCL, Bash
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Modernisierung der Analysefähigkeiten in einem On-Premises-Umfeld
Herausforderung: Der Klient operiert in einem margensensitiven Wettbewerbsumfeld und wollte seine Reportingmechanismen modernisieren. Die bisherige Analysefähigkeiten waren auf ERP-interne Standardauswertungen beschränkt, wenig interaktiv und nur bedingt aussagekräftig. Die interne Systemlandschaft nutzte ausschließlich On-Premises-Komponenten in teils veralteten Softwareversionen. Entsprechend waren sichere und zugleich performante Ladestrecken in die AWS-Cloud zu entwickeln, die großvolumige Transaktionsdaten inkrementell mittels Change Data Capture-Mechanismen übertragen.
- Konzeption und Implementierung einer (hoch-)sicheren, kosteneffizienten Datenplattform in der Amazon AWS Cloud
- Entwicklung einer inkrementellen CDC-Ladenstrecke zwischen Microsoft SQL Server (ERP-System) und Snowflake als analytische Datenbank (Data Warehouse) mittels custom Airbyte Konnektor
- Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels data build tool (dbt) unter Nutzung von Snowflake – Sprachen: SQL
- Orchestierung der ELT-Datenladestrecken mittels Prefect und Alarmierungsmechanismen via Microsoft Teams
- Umsetzung der Infrastruktur nach AWS-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Github, Airbyte, dbt, Power BI, Snowflake, Amazon AWS, AWS EC2, Docker, Microsoft SQL Server
Projektmanagement: Confluence, Asana, Microsoft Teams
Sprachen: SQL, Python
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Definition und Umsetzung der internen Data Analytics-Zielsetzung unter Berücksichtigung der Unternehmensstrategie
Herausforderung: Der Klient ist etablierter Player in einem kompetitiven, digitalen Wettbewerbsfeld mit einem vierköpfigen, hochqualifizierten BI-Team. Es lag in meiner Verantwortung, unter Berücksichtigung der Unternehmensstrategie und den Prioritäten des C-Levels eine abteilungsübergreifende Data- und Analyticsstrategie zu definieren und umzusetzen. Durch die zunehmenden Anforderungen wurde das BI-Team immer mehr zu Bottleneck, so dass sowohl die Effizienz des internen Entwicklungsworkflows durch moderne Dev-Tools optimiert und die Self-Service-Möglichkeiten der Enduser erweitert wurden.
- Leitung eines hochqualifizierten und passionierten Teams, welches branchenführende Data Assets im Bereich Customer und Marketing Analytics entwickelt und bereitstellt
- Fachliche Zuständigkeit für die Bereitstellung, Wartung und Weiterentwicklung der Cloud-nativen Dateninfrastruktur in einem hybriden Azure/AWS-Setup (Modern Data Stack-Paradigma) und der Self-Service-BI-Plattform Microsoft Power BI
- Verantwortung für die Verbesserung der internen Datenkompetenz und Förderung einer Kultur der datengetriebenen Entscheidungsfindung in der gesamten Organisation
- Evaluierung neuer, innovativer Datentechnologien und Erstellung von Prototypen/Proof-Of-Concepts, um den eigenen Tech Stack stets auf dem neuesten Stand der Technik zu halten
- Budgetierung und Überwachung aller Aktivitäten der Abteilung, einschließlich der Steuerung von externen Auftragnehmern
Technologien: Github, data build tool, Databricks, Snowflake, Prefect, AWS, Azure, Fivetran, Airbyte, Great Expectations, Power BI
Projektmanagement: Confluence, Asana, Microsoft Teams
Sprachen: SQL, Python
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Implementierung innovativer Customer & Marketing Analytics Use Cases im "Modern Data Stack"
Herausforderung: Der Klient ist eine aufstrebende Fashion-Brand mit der Ambition, ein Pionier bei der datengetriebenen, automatisierten Prozess- und Entscheidungsunterstützung im E-Commerce und digitalen Marketing werden. Hierzu wurde von mir ein internes BI-Team aufgebaut, welches innovative Use Cases umsetzte – z.B. die Optimierung des Einkaufserlebnisses (Conversion) in Echtzeit, Erhöhung der Wiederkaufraten durch Segmentierung und verbessertes Werbetargeting sowie Zentralisierung aller Kundeninteraktionen in einer Customer Data Platform (CDP).
- Fachliche und disziplinarische Leitung eines (agilen) BI-Teams bestehend aus Data Engineers, Analytics Engineers und Digital Analysts
- Budgetverantwortung und Projektleitung für die Umsetzung innovativer Use Cases wie Recom. Engine, CDP, Marketing-Attribution, Auto Adspend Allocation, Marketing Automation usw. – von der technischen Anforderung bis zum Deployment
- Implementierung eines DataOps-Prozesses zur Sicherstellung eines effizienten Entwicklungsworkflows mit kurzer time-to-insight sowie qualitativ hochwertiger Datenprodukte wie Dashboards und APIs
- Kontiuierliche Weiterentwicklung der ELT-Strecken und semantische Modellierung des internen Data Warehouse nach Kimball-Best-Practices mittels data build tool (dbt), Airbyte, Fivetran – Sprachen: SQL, Jinja, Python
Technologien: Power BI, Fivetran, Airbyte, dbt, Snowflake
Projektmanagement: Notion, Microsoft Teams
Sprachen: SQL, Jinja, Python
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Aufbau einer kostengünstigen und skalierbaren Analyseplattform für ein Start-Up
Herausforderung: Der Klient operiert in einem kompetitiven, digitalen Wettbewerbsfeld und verzeichnete hohe Wachsumsraten. Die (Roh-)Daten aus der Systemlandschaft mit verschiedenen SaaS-Tools, Werbenetzwerken sowie ERP- und Shopsystem sollten in einem Cloud Data Warehouse zentral für alle Business-User verfügbar gemacht werden, um die interne Entscheidungsfindung zu beschleunigen. Die implementierte Infrastruktur diente wiederum als Basis für operationale Anwendungen wie CDP, Attributionsmodellierung und Marketing Performance Monitoring.
- Fachliche Verantwortung für die Konzeption und Implementierung einer abteilungsübergreifenden Analyseplattform in der Microsoft Azure Cloud
- Entwicklung verschiedener Python-Konnektoren zur Integration wesentlicher Tools aus dem MarTech-Stack unter Nutzung von Azure Data Factory und Azure Functions
- Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels Azure Databricks (compute) und Azure Data Lake Gen2 (storage) – Sprachen: Python (PySpark)
- Visualisierung der Informationen in fachbereichsspezifischen Dashboards mittels Microsoft Power BI
- Orchestierung der ELT-Datenladestrecken mittels Azure Data Factory
- Laufende Optimierung von Kosten, Laufzeit und Ressourcenverbrauch der ELT-Datenladestrecken
- Umsetzung der Infrastruktur nach Azure-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Azure DevOps, Git, Tableau, Azure Data Factory, Azure Databricks, Azure Functions
Projektmanagement: Confluence, Jira, Microsoft Teams
Sprachen: SQL, Python, DAX
(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
Reisebereitschaft
Sonstige Angaben
Youtube - Video
Hi. Ich bin Jan-Niklas.