28.10.2026 aktualisiert


Premiumkunde
100 % verfügbarSenior AI Engineer – Sovereign AI, selbst betriebene LLMs, vLLM, Kubernetes
Sankt Leon-Rot, Deutschland
Nur Remote
B.Sc.Über mich
Sovereign AI: LLMs on-premises auf eigenen GPUs (vLLM, SGLang), nach BITBW-Standards (IT Baden-Württemberg) gehärtet. Erfahrung in regulierten Umfeldern: Justiz, Bundesverwaltung, Finanzsektor, Verteidigung. Ab sofort in Vollzeit verfügbar, remote.
Skills
RAGHelmLangChainOllamaJavaKünstliche IntelligenzApache AirflowAtlassian ConfluenceAtlassian JiraOpenShiftSwaggerOracle Fusion MiddlewareLarge Language ModelsAWS LambdaSpring Data
Sovereign AI, On-Premise LLM, selbst betriebene LLMs, vLLM, SGLang, LiteLLM, Open WebUI, Ollama, Kubernetes, OpenShift, Helm, ArgoCD, RAG, LangChain, pgVector, Milvus, Weaviate, Qdrant, Vektordatenbanken, Oracle Fusion Middleware, Mistral (nur per API genutzt, nicht selbst betrieben), Scaleway (API)
Large Language Models, LoRa, Vector Databases, QDrant, pgVector, RAG (Retrieval Augmented Generation), Agentic RAG, CrewAI, Swarm, DSPy, Letta, LangChain, Haystack, Llama Index, LLama, OpenAI, GPT 4o, Multi-Modal AI, LongVU, ARIA, PyTorch, UltraLytics, Yolo, Fullstack NextJS shadcn Typescript
Azure, Python, Airflow, AWS, xgBoost, Machine Learning, JupyterHub, Synapse, Azure Synapse Analytics, EMR, Kubernetes, Helm Charts,Java 8/11/17, Java EE, Spring Boot, Spring Data, JPA, Swagger, Springfox, Docker, Docker Compose, Jetty, Hibernate, Tomcat, Maven, Gradle, Jenkins, Databases (Relational: PL/SQL, MySQL / NoSQL: Cassandra, Redis, Spark, Hadoop), IDEs (Eclipse, IntelliJ, Visual Studio), Tools: Git, SVN, Windows, Linux (Debian, RedHat, Oracle), VMWare, MS Office, Atlassian Jira, Confluence, Bitbucket
Programming-Languages: Java, JavaScript, Groovy, Python, Clojure, Bash
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2014
Sprachen
DeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
Aufgaben:
• Technisches Consulting Greenfield-Entwicklung für AVIATAR 2.0
• Technische Konzeption Data Pipelines & Daten Architektur im Datalake (DataVerse)
• Konzeption Data Lake Zones, Data Governance, Data Retention & Recovery-Strategien
• Engine Zusammenarbeit mit Data Architecture & Platform-Team zwecks Scaling & Konzeption Infrastruktur
• Enge Zusammenarbeit mit Stakeholdern in gesamt LHT + Anforderungsmanagement
• Hands-On-Entwicklung Data Pipelines in Spark Structured Streaming & DataBricks
• PoCs für Graph-Links & Realtime Analytics
• Bereitstellung Daten für AI & ML-Projekte (Predictive Analytics)
• Technische Konzeption anhand Anforderung: Near-Realtime Pipelines
Projekthintergrund:
Technisches Consulting im Rahmen der Greenfield-Entwicklung für AVIATAR 2.0: Entwurf, Konzeption und Entwicklung DataVerse als Digital Twin für Lufthansa Technik in der Teilelogistik. Echtzeit-Monitoring der gesamten Teile-Logistik für Arbeitsbevorratung und Anlieferung von Flugzeugersatzteilen weltweit. Businessziel: Real-time Insights, Reporting, Messung Bevorratung
Projektbezogene technische Aktivitäten (Tools/ Werkzeuge/ Methoden):
Azure Synpase Analytics, Azure EventHub, DataBricks Delta, Azure DevOps, PySpark, PowerBI, Microsoft PurView, Python, Kafka, Oracle, PL SQL, Jira / Confluence / Scrum
• Technisches Consulting Greenfield-Entwicklung für AVIATAR 2.0
• Technische Konzeption Data Pipelines & Daten Architektur im Datalake (DataVerse)
• Konzeption Data Lake Zones, Data Governance, Data Retention & Recovery-Strategien
• Engine Zusammenarbeit mit Data Architecture & Platform-Team zwecks Scaling & Konzeption Infrastruktur
• Enge Zusammenarbeit mit Stakeholdern in gesamt LHT + Anforderungsmanagement
• Hands-On-Entwicklung Data Pipelines in Spark Structured Streaming & DataBricks
• PoCs für Graph-Links & Realtime Analytics
• Bereitstellung Daten für AI & ML-Projekte (Predictive Analytics)
• Technische Konzeption anhand Anforderung: Near-Realtime Pipelines
Projekthintergrund:
Technisches Consulting im Rahmen der Greenfield-Entwicklung für AVIATAR 2.0: Entwurf, Konzeption und Entwicklung DataVerse als Digital Twin für Lufthansa Technik in der Teilelogistik. Echtzeit-Monitoring der gesamten Teile-Logistik für Arbeitsbevorratung und Anlieferung von Flugzeugersatzteilen weltweit. Businessziel: Real-time Insights, Reporting, Messung Bevorratung
Projektbezogene technische Aktivitäten (Tools/ Werkzeuge/ Methoden):
Azure Synpase Analytics, Azure EventHub, DataBricks Delta, Azure DevOps, PySpark, PowerBI, Microsoft PurView, Python, Kafka, Oracle, PL SQL, Jira / Confluence / Scrum
Übersetzung mehrsprachiger Dokumente und Scans für die Justiz; die Modelle laufen on-premises auf GPU-Hardware des Betreibers.
• Selbst betriebene Modelle produktiv: Produktion auf 8× NVIDIA H100 unter OpenShift, Entwicklung auf 2× A10; GPU-Sizing sowie Inferenz-Tuning mit vLLM und CTranslate2 selbst durchgeführt
• KI-Pipeline in Python: OCR mit PaddleOCR-VL und Docling, Übersetzung mit MADLAD, LLM-gestützte Prüfung mit Gemma, Layout-Rekonstruktion und Export
• Deployment und Härtung: Helm-Charts und Offline-Modellartefakte erstellt, Auslieferung per CI/CD und ArgoCD; Container nach BITBW-Standards gehärtet
• Betrieb und Tests: Monitoring mit OpenTelemetry, Prometheus und Grafana; reproduzierbare Benchmarks und Regressionstests gegen verifizierte Referenzdaten, inklusive GPU-Speicherbedarf und Laufzeit
Technologien: Python, FastAPI, vLLM, CTranslate2, PyTorch, Hugging Face Transformers, Gemma, MADLAD, Docker, Kubernetes, OpenShift, Helm, ArgoCD, NVIDIA H100/A10, OpenTelemetry, Grafana
• Zielarchitektur mit Fokus auf Datensouveränität: Modellrouting über LiteLLM, Chat-Oberfläche Open WebUI, vLLM und Ollama erprobt und bewertet; RAG-Bausteine und Monitoring eingeordnet
• Inferenz-Server: SGLang gegen vLLM evaluiert, jeweils mit LiteLLM als Modellrouter
• Mistral-Nemo über die Scaleway-API angebunden (in der LiteLLM-Konfiguration hinterlegt); Mistral wird nur per API genutzt, nicht selbst betrieben
• Sicherheit: Plattform nach BITBW-Standards gehärtet; Guardrails-Prototyp gegen Prompt-Injection gebaut
• Betriebskonzept: Hosting-Varianten von Cloud-API bis Self-Hosting in Fünfjahres-TCO-Szenarien verglichen, inklusive Datensouveränität; Grundlage für die Beschaffung
Technologien: LiteLLM, SGLang, vLLM, Open WebUI, Ollama, Docker, Python
Zertifikate
AWS Certified Solutions Architect – Associate (SAA-C03)
Amazon (Pearson VUE / AWS)2023
Atlassian Skills Badge: Scaling Jira (ASB-SCJ)
Certmetrics2021
Atlassian Skills Badge: Customizing Jira Workflows (ASB-CJW)
Certmetrics2021
Atlassian Skills Badge: Configuring and Troubleshooting Permissions in Jira (ASB-JCP)
Certmetrics2021
Atlassian Certified in Agile Development with Jira Software
Certmetrics2019
Atlassian Certified Jira Administrator for Data Center and Server (ACP-JA)
Certmetrics2017