27.10.2026 aktualisiert
Premiumkunde
nicht verfügbarinfo: nicht verfügbar bis 31.03.2027
Senior Data Engineer
Berlin, Deutschland
Weltweit
BSc.WirtschaftsinformatikSkills
dbtSql Data WarehouseApache AirflowBusiness IntelligenceBig DataGoogle BigQueryCloud-EngineeringData ArchitectureDateninfrastrukturData IntegrationData TransformationData MigrationDatenqualitätDatenstrukturData Transformation Services
Data Infrastructure Architecture (Dateninfrastruktur-Architektur) End-to-End-Design und Implementierung von Dateninfrastrukturen, einschließlich Kernkomponenten des Data Engineering, Optimierung der DBT-Modellierung und Echtzeit-Datensynchronisierung sowie Expertise in Cloud-Migrationen.
Echtzeit-Event-Pipelines und fortgeschrittene Aggregationen von Kundenmetriken für Business Intelligence.
Cloud Data Engineering Expertise in AWS- und GCP-Cloud-Plattformen, einschließlich Datenmigrationsdiensten, ereignisgesteuerten Architekturen (Event-Driven Architectures) und skalierbaren Analyselösungen mit automatisierten Tests und Deployment.
Python Programming (Python-Programmierung) Versierte Python-Entwicklung für Data-Engineering-Pipelines, ETL-Prozesse und Automatisierungs-Workflows.
SQL Database Management (SQL-Datenbankmanagement) Fortgeschrittene SQL-Kenntnisse für Datentransformation, Optimierung und Datenbankmanagement über mehrere Plattformen hinweg.
Apache Airflow Workflow-Orchestrierung und Management von Datenpipelines mittels Apache Airflow zur automatisierten Datenverarbeitung.
BigQuery Analytics Expertise in Google BigQuery für umfangreiche Datenanalysen (Large-Scale Data Analytics) und Echtzeit-Datenverarbeitung.
Power BI Reporting Erstellung von Business-Intelligence-Dashboards und Reporting-Lösungen mit Power BI zur Gewinnung von Erkenntnissen für Stakeholder.
AWS Services Umfassende Kenntnisse der AWS-Cloud-Dienste, einschließlich Redshift, S3, Lambda und EventBridge für Datenlösungen.
GCP Services Umfassende Kenntnisse der GCP-Cloud-Dienste, einschließlich BigQuery, GCS, Cloud Functions, Cloud Composer und DataProc.
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2025
Sprachen
ArabischMutterspracheDeutschMutterspracheEnglischMuttersprache
Projekthistorie
Verantwortlich für die Stabilität und Weiterentwicklung der zentralen Data-Warehouse- und Event-Pipelines einer der größten deutschen TV-Streaming-Plattformen.
- Airflow-Pipelines im Produktivbetrieb: Entwicklung, Debugging und Härtung geschäftskritischer DAGs – von OOMKill- und Memory-Tuning über MySQL-Batching bis zur Auflösung von Schema-Drift in Polars-basierten Transformationen.
- Event-Streaming-Architektur: Konzeption einer BigQuery-Storage-Write-API-Anbindung für AWS-SNS/SQS-Events (Subscription-Lifecycle, Tier-Cancellations) mit Fokus auf Durchsatz und Idempotenz.
- CRM- & Billing-Integration: Anbindung und Stabilisierung der Emarsys-Eventpipelines (WebDAV-Exports, GA4-Streaming) sowie Migration der Billing-Schnittstelle von Billwerk auf die Frisbii Transform API.
- Datenquellen-Integration: Aufbau automatisierter Importe via Amazon SP-API (FBA-Inventory, Reimbursements, Customer Returns).
- Engineering-Standards: GitLab CI/CD, Release-Tagging und Terraform-gestützte Infrastruktur.
Tech-Stack: Apache Airflow · Google BigQuery · Polars · Python · Kubernetes · GitLab CI/CD · Terraform · dbt · AWS (SNS/SQS) · Amazon SP-API
Rebuilt data infrastructure end-to-end, optimized DBT modeling layer reducing costs by 30% and processing time by 70%, configured GCP Datastreams for real-time data syncing, established staging environment increasing development efficiency by 80%, implemented real-time GA4 event pipeline, designed data pipelines using Apache Airflow and Python, built automated tests using Pytest and deployed in Google Cloud Run
Designed data architecture for Competitor Intelligence department, developed web crawlers for market data collection, planned and executed migration to Microsoft Azure, built internal reporting solutions using Power BI for stakeholder insights