DevOps Engineer | Solution Architekt

Implementierung einer AI-Infrastruktur für Cloud basiertes Entwickeln und Ausführen von ML Trainings mit MLOps Methoden

Für einen der führenden Hersteller von Halbleiter und Systemlösungen sollte eine Infrastruktur geschaffen werden, um automatisiert Cloud IDE Instanzen auf ein OpenShift basiertes Kubernetes Cluster für Machine Learning Workflows zu deployen.

Dabei sollten Ressourcen (CPU, Memory, GPU) ausgewählt werden können, die dann in der Cloud Entwicklungsumgebung zur Verfügung stehen.

Für einen einheitlichen Zugriff sollten die orchestrierenden Pipelines zur Cloud IDE Erstellung hinter REST APIs gewrappt werden.

Ziel war es, Data Scientists und Machine Learning Engineers beim Aufsetzen von MLOps Methoden zu unterstützen und eine Low / No Code Umgebung für schnelles Onboarding zu schaffen.

Aufgabenbereich:

• Planung und Design
• DevOps
• MLOps

Aufgabenbeschreibung:

• Evaluierung von Best Practices für MLOps basierte DevOps Workflows
• Konzeption und Aufbau von Multicluster Kubernetes Lösungen
• Konzeption und Design der Pipeline Orchestrierung sowie Deployment für automatisiertes Erstellen von Cloud IDE Instanzen mit Tekton und Helm
• Aufsetzen von CI/CD Pipelines zur Automatisierung von Deployments mit Tekton, Gitlab, Bash, Python sowie Integration von GitOps Prozessen mit ArgoCD
• Aufsetzen von API-Gateways und Authentifizierungs / Authorisierungsverfahren mit IAM, OIDC und OAUTH2
• Einrichten von Log Management Lösungen (KPI, Metrics) sowie Performance Messungen mit Prometheus, Grafana und ELK Stack (Elasticsearch, Logstash, Kibana)
• Design sicherheitsrelevanter Architektur und Infrastruktur (Load Banlancing, High Availability, Horizontal / Vertical Auto Scaling)
• Betrieb und Incident Management der Softwarelösungen
• Beratung, Best Practices / Industriestandards
• Architektur und Implementierung von Microservices in verteilten Systemen mit Go und Python
• Agiles arbeiten im SCRUM Team mit aktiver unterstützung des PO für design spezifische Fragen der Infrastruktur
• Requirements Engineering in enger Kommunikation mit Stakeholdern und Dokumentation von architektonischen Entscheidungen
• Entwicklung von Kubernetes Operators zum automatisierten Application Lifecycle Management mit Operator SDK sowie OLM
• Implementierung eines High Performance Caches für I/O Operationen mit Redis

Eingesetzte Technologien:

Für einen Kunden im Bereich Technische Prüforganisation sollte auf DevOps Methoden basierende Infrastruktur für eine Backend Microservice Landschaft geschaffen werden, dass die bestehenden Datenbanksysteme (SQL) mit den neuen Datenbanksystemen (NoSQL) verbindet, um Datenkonsistenz zu gewährleisten und Zugriff auf historische Daten zu ermöglichen.

Ziel war es den Entwicklern eine Umgebung zu schaffen, um möglichst zeitsparende und automatisierte Releases der Microservices zu gewährleisten.

Aufgabenbereich:

• Planung und Design
• Aufsetzen von Message Brokern
• DevOps
• Backend Entwicklung

Aufgabenbeschreibung:

• Aufbau und Betrieb eines On Prem Kubernetes Clusters und Konfiguration von Dev, Staging und Prod Environments
• Design und Implementierung der CI / CD Pipelines mit Azure Pipelines, Helm und Terraform
• Aufsetzen von Build und Deployment Scripts mit Bash, Powershell und Python
• Design eines Development und Release Flows mit Git
• Setup von Logging und Monitoring mit Prometheus und Elastic Stack
• Implementieren von Trace Spans für Microservice übergreifendes Monitoring mittels APM
• Automatisiertes Packaging und Deployment von Infrastruktur Artifacts (Container, Helm Charts und Terraform) in JFrog
• Implementierung der Microservices mit .NET Core und Entity Framework Core
• Design der OpenAPI REST Spezifikationen
• Implementieren von GraphQL APIs
• Migration eines bestehenden Kibana Dashboards auf Grafana
• Incident Management durch proaktives Monitoring der Infrastruktur
• Aufsetzen der Kafka Message Broker für Event basierte Workflows
• Design der Kafka Schemas für Microservice übergreifendes Messaging
• Aufsetzen der Cloud basierten integrativen Testumgebung
• Anbinden von Cloud basierten Linting Tools für das Erkennen von Code Smells und Style Errors in den CI-Pipelines mittels Sonar Cloud
• Projektübergreifendes Monitoring, Reporting und Alerting der CI/CD Pipeline Results an eine zentrale Stelle (Success / Error Rate, Artifact Uploads, Vulnerabilities)
• Implementierung von sicherheitsrelevanten Architektur Patterns zur Authentifizierung und Authorisierung für die REST-Endpoints (OAUTH2, OIDC)
• Automatisierung der Administration von Windows Server Instanzen zur Bereitstellung von Release Candidates auf eine virtuelle Azure Cloud Instanz mittels Ansible
• Wartung und Erweiterung der virtuellen Citrix Environments zum Bereitstellen von Software für Test Engineers
• Incident Management beim Betrieb der Softwarelösungen

Eingesetzte Technologien:

Azure DevOps, C# / .NET Core, Entity Framework Core, Helm, Terraform, Python, Docker, Kubernetes, Gitlab, Azure Pipelines, SonarCloud, REST, GraphQL, Prometheus, Grafana, Kibana, Elastic Search, Logstash, Kibana, APM, SQL, Oracle, MongoDB, Linux, Windows Jira, Confluence, Powershell, OAUTH2, OIDC, Ansible, Kafka, JFrog, OpenAPI, Bash, YAML

Aufsetzen einer Microservice Backend Landschaft für e Government Dienste

Projektbeschreibung:

Für einen Kunden, der in der öffentlichen Dienstleistungsbranche tätig ist, sollte eine Microservice Landschaft für verschiedene e Government Services geschaffen werden.

Diese sollten Komponenten basiert bei den Kommunen in die bestehenden Web Auftritte angebunden werden können.

Die Services sollten außerdem untereinander über einen Message Broker für Event getriebene Workflows kommunizieren.

Aufgabenbereich:

• Backend Entwicklung
• DevOps

Aufgabenbeschreibung:

• Design der Microservice Architektur
• Erstellen von OpenAPI Spezifikationen mit Swagger
• Implementierung der Spring Boot Microservices
• Schreiben von Unit und Integration Tests mit SpringBootTest und Postman
• Aufsetzen der Message Broker für Event getriebene Workflows
• Erstellen von Helm Chats für das Deployment der Microservices
• Provisioning und Konfiguration der Kubernetes Cluster Instanzen für Multi Stage Deployments
• Implementierung eines Microservice Scaffolding Frameworks mit Ansible

Eingesetzte Technologien:

Spring Boot, SpringBootTest, Python, Ansible, Kubernetes, Docker, Rabbit MQ, Helm, REST, OpenAPI, Postman,