26.08.2026 aktualisiert
100 % verfügbar
Technical Consultant & AI Architect specializing in Big Data, AI/ML, and Cloud Computing
Maintal, Deutschland
Weltweit
MSc - Data Science - UK Über mich
Senior Data & AI Engineer mit 10+ Jahren Erfahrung in Databricks, PySpark, Python, Azure, GCP und AWS. Experte für ETL/ELT, Streaming, GenAI/RAG, AI Agents, ML und Data Architecture sowie erfahren mit Terraform, CI/CD, Data Governance und Enterprise-Plattformen.
Skills
Künstliche IntelligenzBig DataCloud ComputingData ArchitecturePython
Data Engineering & Databricks
Azure Databricks, PySpark, Spark SQL, Delta Lake, DLT, Unity Catalog, ETL/ELT, Medallion Architecture, Data Quality, Batch & Streaming, Kafka, Airflow
AI, GenAI & Machine Learning
Python, LangChain, LangGraph, RAG, AI Agents, LLMs, Azure OpenAI, Azure AI Foundry, MLflow, Hugging Face, Qdrant, ChromaDB, Reinforcement Learning
Cloud & Data Platforms
Microsoft Azure, GCP, AWS, ADLS Gen2, Azure Data Factory, Microsoft Fabric, BigQuery, Dataflow, Vertex AI, Snowflake
Data Architecture & Governance
Cloud Data Architecture, Lakehouse, Data Modelling, Data Mesh, Data Products, Data Lineage, RBAC, Microsoft Purview, GDPR/DSGVO
DevOps, IaC & Platform Engineering
Terraform, Docker, Kubernetes/AKS/GKE, Azure DevOps, GitHub Actions, GitLab CI/CD, Datadog, Elasticsearch/Kibana
Development & Datenbanken
Python, FastAPI, REST APIs, SQL, PostgreSQL, Azure SQL, MongoDB, API Integration, XML/JSON
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2020
Sprachen
DeutschverhandlungssicherEnglischMutterspracheHindiMuttersprache
Projekthistorie
Entwicklung und Betrieb produktiver Data- und ML-Lösungen auf Azure Databricks.
• Entwicklung komplexer PySpark- und Spark-SQL-Pipelines für große Datenmengen und unterschiedliche Datenquellen
• Aufbau von ETL/ELT- und Delta-Lake-Pipelines mit DLT, Merge/Upsert, Window Functions und Data-Quality-Prüfungen
• Spark Performance Tuning mittels Partitionierung, Broadcast Joins, Caching und File Compaction
• Entwicklung von ML-Pipelines für Customer Propensity Scoring und Marketing-Kampagnen inkl. Feature Engineering und MLflow
• Aufbau von Monitoring, Error Handling, Retry-Mechanismen und SLA-Überwachung mit Datadog
• Deployment über Databricks Asset Bundles und Azure DevOps CI/CD
• Terraform-basierte Infrastruktur sowie Governance und Data Lineage mit Unity Catalog
Technologien: Azure Databricks, PySpark, Spark SQL, Delta Lake, DLT, Unity Catalog, MLflow, Python, Terraform, Azure DevOps, Datadog
Entwicklung skalierbarer Data-, Streaming-, ML- und GenAI-Lösungen im regulierten Banking-Umfeld.
• Entwicklung und Optimierung großer PySpark ETL/ELT-Pipelines auf GCP, BigQuery, Dataflow und Databricks Delta Lake
• Integration heterogener Datenquellen über APIs, Flat Files und kundenspezifische Python-Funktionen
• Entwicklung von Kafka-/PySpark-Streaming-Pipelines für Echtzeitdaten inkl. Stateful Processing und Windowing
• Entwicklung eines Reinforcement-Learning-Modells für dynamische Preisoptimierung sowie weiterer ML-Modelle
• Entwicklung einer vollständigen Enterprise-RAG-Lösung für 10K+ Finanzdokumente täglich: OCR, Chunking, Embeddings, ChromaDB und LangChain
• Fine-Tuning von LLAMA2 mittels LoRA sowie Evaluation und Monitoring
• ML Feature Engineering mit PySpark, MLflow Model Tracking/Versionierung und Deployment über Vertex AI
• Umsetzung von Data Quality, Governance und DSGVO-konformen Zugriffskontrollen
Technologien: Python, PySpark, Spark Streaming, Kafka, GCP, BigQuery, Dataflow, Vertex AI, Databricks, Delta Lake, LangChain, RAG, LLAMA2, LoRA, ChromaDB, MLflow
Entwicklung von Data-, Analytics- und Cloud-Lösungen für internationale Enterprise-Kunden.
• Aufbau einer Big-Data-Fraud-Detection-Plattform mit Hive und Python zur Verarbeitung von 30M+ Datensätzen pro Batch
• Entwicklung eines Python-basierten Anomaly-Detection-Verfahrens zur Erkennung komplexer Betrugsmuster
• Entwicklung einer Enterprise Document Search Lösung mit Elasticsearch, Logstash und NLP
• Aufbau von Python-basierten API-Integrationen und Compliance-/Sanctions-Screening-Lösungen
• Entwicklung cloud-nativer Datenpipelines auf AWS mit Lambda, Step Functions und CI/CD
Technologien: Python, Hive, Hadoop, Elasticsearch, Logstash, NLP, REST APIs, AWS Lambda, Step Functions, CI/CD