14.09.2026 aktualisiert
Premiumkunde
nicht verfügbarinfo: nicht verfügbar bis 01.01.2027
Senior AI & Data Engineer | Self-hosted LLM Serving & Data Platforms auf Kubernetes
Hamburg, Deutschland
Weltweit
M.Sc. Computer ScienceÜber mich
Ich baue KIs, die im Haus laufen: self-hosted private LLMs auf Kubernetes, ohne dass Daten das Unternehmen verlassen. Dazu Data Engineering (Airflow, Spark, Kafka) und Cloud (AWS, Azure, STACKIT). 8+ Jahre; Referenzen u. a. STACKIT & RTL. Sofort verfügbar. Let's Talk!
Skills
KeycloakAI AgentsGitOpsApache IcebergGenAILLMHelmData LakehouseMLOpsChatGPTAzure DevOpsJavaJavaScriptAPIsKünstliche Intelligenz
// SAY HELLO! 60 Sekunden Vorstellungsvideo: https://youtu.be/5jrpwzSRpZs
GenAI & LLM Serving
Private LLMs und Vision-Modelle produktionsreif auf Kubernetes betreiben (u. a. vLLM), Daten bleiben im Haus.
Kubernetes & Cloud Native Infrastruktur
Design und Betrieb Kubernetes nativer Plattformen über mehrere Clouds, GitOps-basiert (Terraform, Argo CD).
Data Engineering
Zuverlässige, skalierbare ETL Datenpipelines für Real-time und Batch (Airflow, Spark, Kafka, dbt).
AI/ML & MLOps
KI-Workloads vom Prototyp in stabile, beobachtbare Produktion (MLflow, KServe, PyTorch).
Cloud-Plattformen
Skalierbare, resiliente Infrastruktur auf AWS, Azure, GCP und STACKIT.
IaC & DevOps
Automatisierte Build-, Test- und Release-Prozesse per Infrastructure as Code und CI/CD.
Security & Governance
Zugriffskontrolle und Compliance von Anfang an mitgedacht (Keycloak, Entra ID).
Visualisierung & Monitoring
Observability- und Dashboard-Stacks für Betrieb und Daten (Grafana, Prometheus, Superset).
Sprachen & Frameworks
Python (FastAPI), SQL, C++, dazu Go, Java.
Architektur & Technische Leitung
Systeme von der Idee bis zur Produktion konzipieren und Teams führen, inkl. Workshops und Presales.
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2026
Sprachen
DeutschMutterspracheEnglischverhandlungssicherFranzösischGrundkenntnisse
Projekthistorie
AUFGABEN
▸ Ausrollen eines Wan 2.2-Modells zur Umwandlung von Bildern in Videos (Hugging Face Diffusers) hinter einem FastAPI-Dienst
▸ Bereitstellung des AWS-GPU-Knotens nach Bedarf – dieser wurde nur bei einer Generierungsanforderung hochgefahren und anschließend wieder heruntergefahren, sodass GPU-Kosten nur bei tatsächlicher Nutzung anfallen
▸ Containerisierung des Dienstes (PyTorch / CUDA) und Bereitstellung in Kubernetes mit GPU-Scheduling (nvidia.com/gpu), Modell-Caching und Velero-Backups
▸ Anwendung von CPU-Offloading für das Modell, sodass das 14-Milliarden Parameter Modell auf eine einzelne AWS-GPU-Instanz passt, wodurch der GPU-Ressourcenbedarf und die Kosten reduziert werden
▸ Die AWS-GPU-VM wurde über WireGuard in eine bestehende Multi-Cloud-Kubernetes-Landschaft integriert und das Modell als interner Dienst bereitgestellt
▸ Es wurde eine Chainlit-Weboberfläche zum Hochladen eines Bildes und zur Vorschau des generierten Clips bereitgestellt
ERGEBNIS
Die GPU wird nur bei Bedarf abgerechnet (keine Kosten für Leerlauf/API) · Es wurden Clips von ca. 5 Sekunden auf einer einzigen GPU generiert · Die Daten bleiben vollständig im eigenen Haus
AUFGABEN
▸ Präsentation der Daten- und KI-Dienstleistungen von STACKIT bei potenziellen Kunden
▸ Leitung von Anforderungs Workshops, meist vor Ort, um die Kundenbedürfnisse zu erfassen
▸ Einrichtung von Demonstrationsumgebungen und Proof-of-Concepts auf STACKIT, in der Regel Data Lakehouse mit optionalen, selbst gehosteten Zusatzkomponenten
▸ Durchführung von Kostenanalysen, wobei der Kundenbedarf auf unsere Infrastruktur und Preisgestaltung abgebildet wurde
ERGEBNIS
Umsetzung der technischen Anforderungen potenzieller Kunden in konkrete, kalkulierte Lösungsvorschläge auf STACKIT
AUFGABEN
▸ Automatisierte Datenerfassung: Der Auto Loader lädt neue und aktualisierte PDF-Dateien in Unity Catalog Volumes, koordiniert durch geplante Databricks-Jobs
▸ Komplexe PDF-Dateien werden mit KI-Funktionen (Text, Tabellen, Layout) analysiert, in Blöcke unterteilt und in Delta-Tabellen gespeichert
▸ Einbettung über einen Databricks Model Serving-Endpunkt, der einen Databricks Vector Search Delta Sync-Index speist, der sich bei Änderungen automatisch synchronisiert
▸ Abruf-Agent auf dem Databricks Agent Framework – hybride semantische + Stichwortsuche, Databricks-Grundmodell, fundierte Antworten mit Quellenangaben
▸ Auswertung und Nachverfolgung mit MLflow, Bereitstellung als automatisch skalierender Model-Serving-Endpunkt hinter einer Streamlit Databricks App
▸ End-to-End-Governance für den Unity Catalog: Zugriffskontrolle und Auditierung von Dokumenten, Tabellen und Indizes
ERGEBNIS
Ingenieure erhalten innerhalb von Sekunden selbstständig Antworten aus Tausenden von Seiten, die auf den eigenen Dokumenten des Kunden basieren und mit Quellenangaben versehen sind – vollständig unter der Governance von Databricks