AWS Cloud & Data Engineer (Python)
(Medien und Verlage, 5000-10.000 Mitarbeiter)
Schlagwörter
Skills
Seit mehr als 12 Jahren konzipiere und entwickle ich datengetriebene Lösungen.
Mein Fokus liegt im Bereich SQL & NoSQL Datenbanken sowie Amazon Web Services (AWS) und Python.
Expertise im Speziellen:
Mein Fokus liegt im Bereich SQL & NoSQL Datenbanken sowie Amazon Web Services (AWS) und Python.
Expertise im Speziellen:
- Solution Design: Aufnahme von Businessprozessen und entwickeln von Ziellösungen mit UML & BPMN. Erarbeiten von Datenarchitekturen und Auswahl geeigneter Technologien.
- Datenanalyse & -visualisierung mit Python, SQL, gängigen BI-Tools wie bspw. Tableau, sowie einfache Dashboards mit React und D3.
- Datenmodellierung sowohl für klassische relationale SQL-Datenbanken als auch nicht-relationale NoSQL-Datenbanken (Key Value, Column Stores, Graphdatenbanken, Document Stores). Modellierung der Datenmodelle passend zu gewählten Technologien, Anforderungen und Modellierungsmethoden:
- Data Flows (Kinesis, SQS, DynamoDB, Lambda, Step Functions)
- Analytics / BI orientiert: Core Data Warehouse Modellierung (3NF, DataVault), Datamart/Star/Snowflake Schema Modellierung mit klassischen relationalen Datenbanken (Oracle, PostgreSQL, MySQL), Data Lake (AWS Lake Formation, Glue, S3)
- Graphenbasierte Modellierung (SPARQL, RDF, Cypher, RDF-Star)
- Dokumentenorientierte Modellierung (MongoDB)
- Entwicklung von Datenverarbeitungsstrecken mit Python und AWS-Serverless-Technologien, v.a. Lambda, AppSync/GraphQL, DynamoDB, SQS, SNS, StepFunctions sowie Glue unter Verwendung von Infrastructure as Code mit AWS CDK (TypeScript).
- Entwicklung von Schnittstellen mit AWS AppSync/GraphQL sowie ApiGateway mit FastApi:
- Pipeline Resolver
- Direct-Resolver (v.a. AWS Lambda & DynamoDB)
- Velocity Templates
- GraphQL Schema Modellierung
- ApiGateway mit FastApi (Python Lambda)
- KI-Modellentwicklungsunterstützung / Feature Engineering mit Python (Pandas, Numpy), Knime und AutoML Technologien (bspw. DataRobot, AWS SageMaker Autopilot).
Projekthistorie
04/2023
-
09/2023
Weiterentwicklung des Python-Backends (ETL) einer AWS-Cloudbasierten Optimierungslösung (Step Functions orchestrierter Ablauf mit AWS Batch und Glue Crawler) sowie Aufbau eines Reports mit AWS QuickSight, Athena, Glue Crawler und S3 (partitioniertes Datenmodell).
Im Speziellen wurde mit den folgenden Technologien/Sprachen/Bibliotheken/Konzepten gearbeitet:
Im Speziellen wurde mit den folgenden Technologien/Sprachen/Bibliotheken/Konzepten gearbeitet:
- Datenmodelldesign für S3 mit Partitionierung
- Architekturdesign mit AWS Step Functions zur Orchestrierung von AWS Batch ETL-Aufträgen und Glue Crawlern
- AWS Cloudformation
- AWS Step Functions
- AWS Batch
- AWS QuickSight
- AWS S3
- AWS Athena
- AWS Glue (Tabellen & Crawler)
- Testgetriebene Python-ETL-Entwicklung mit Pytest, Pandas und PostgreSQL
- Entwicklung von Data Quality Checks mit SODA
- Gitlab-basiertes Repository mit CI/CD
- Bash Script Entwicklung
- Erstellung und Test von Docker Containern
01/2023
-
03/2023
Serverless Cloud Data Architect & Python Data Engineer (AWS only)
Eigenentwicklung
(Internet und Informationstechnologie, < 10 Mitarbeiter)
Konzeption & Entwicklung datengetriebener serverless Lösungen mit Amazon Web Services, Python und Automated Machine Learning Technologien. Infrastructure as Code (CDK), Near-Realtime- & ETL-Batch-Processing, API-Entwicklung (ApiGateway mit FastAPI & GraphQL-Schnittstelle fürs Frontend), Feature Engineering mit Python (Pandas & Numpy).
Verwendete Technologien:
Python
Verwendete Technologien:
Python
- Pandas
- Numpy
- FastApi
- CDK v2
- DynamoDB
- Lambda
- Step Functions
- AppSync (GraphQL)
- Glue
- Athena
- LakeFormation
- SageMaker AutoML
09/2021
-
12/2022
AWS Solutions Architect & Backend Developer
Fielmann AG
(Konsumgüter und Handel, >10.000 Mitarbeiter)
Konzeption & Entwicklung von Lösungen rund um AWS AppSync. Alles mit AWS CDK definiert, GitHub als Code Repository & per AWS Code Build/Pipeline ausgerollt.
Im Speziellen:
- Entwicklung diverser GraphQL Schemata (Mutations, Queries, Subscriptions)
- Entwicklung von AWS Lambdas, die entweder mit AppSync interagieren oder von AppSync aufgerufen werden (direct Resolver)
- Entwicklung von DynamoDB Datenbanken, die per AppSync Resolver oder Lambda Funktionen gelesen/beschrieben werden
- Verwendung diverser Boto3 API's mit AWS Lambda
- Entwickeln einer Schnittstelle zwischen AWS Neptune (Graphdatenbank mit RDF SPARQL) und AppSync (Mutations & Queries) per Lambda-Funktion
- Entwickeln eines Webhook mit Realtime-Notifaction, mit Api Gateway, Lambda, AppSync (hier Mutation & Subscription), DynamoDB, SQS, SNS.
- Entwicklung eines Change Data Capture - Realtime-Notifaction - Use Case mit DynamoDB Stream, Lambda und SNS.
- Entwicklung einer Middleware zwischen AppSync und Ontotex GraphDB als AWS Lambda mit Python mit SPARQL Queries.
- Fullstack-Entwicklung eines AWS-Kostendashboards zur Analyse der gesamten Organisation mit >100 AWS Accounts unter Berücksichtigung des Need-to-know-Prinzips und Drilldown-Funktionalität bis auf Nutzung einzelner Services. Entwickelt mit React, D3, AppSync, Lambda, DynamoDB und Cost Explorer-API.
Im Speziellen:
- Entwicklung diverser GraphQL Schemata (Mutations, Queries, Subscriptions)
- Entwicklung von AWS Lambdas, die entweder mit AppSync interagieren oder von AppSync aufgerufen werden (direct Resolver)
- Entwicklung von DynamoDB Datenbanken, die per AppSync Resolver oder Lambda Funktionen gelesen/beschrieben werden
- Verwendung diverser Boto3 API's mit AWS Lambda
- Entwickeln einer Schnittstelle zwischen AWS Neptune (Graphdatenbank mit RDF SPARQL) und AppSync (Mutations & Queries) per Lambda-Funktion
- Entwickeln eines Webhook mit Realtime-Notifaction, mit Api Gateway, Lambda, AppSync (hier Mutation & Subscription), DynamoDB, SQS, SNS.
- Entwicklung eines Change Data Capture - Realtime-Notifaction - Use Case mit DynamoDB Stream, Lambda und SNS.
- Entwicklung einer Middleware zwischen AppSync und Ontotex GraphDB als AWS Lambda mit Python mit SPARQL Queries.
- Fullstack-Entwicklung eines AWS-Kostendashboards zur Analyse der gesamten Organisation mit >100 AWS Accounts unter Berücksichtigung des Need-to-know-Prinzips und Drilldown-Funktionalität bis auf Nutzung einzelner Services. Entwickelt mit React, D3, AppSync, Lambda, DynamoDB und Cost Explorer-API.
01/2021
-
09/2021
AWS Solutions Architect & Fullstack Developer
directorscope GmbH
(Banken und Finanzdienstleistungen, < 10 Mitarbeiter)
Konzeption & Entwicklung einer serverless WebApp mit AWS.
Die Lösung sollte vollständig serverless und skalierbar aufgebaut werden. Dazu wurden folgende Technologien und Programmiersprachen verwendet:
Backend
Die Lösung sollte vollständig serverless und skalierbar aufgebaut werden. Dazu wurden folgende Technologien und Programmiersprachen verwendet:
Backend
- AWS Lambda mit Python als ETL (eventgesteuert, kurzlaufende ETL), verwendet wurde AWS SAM
- AWS Fargate & ECS mit Python als ETL (langlaufende Batchprozesse)
- AWS SageMaker Autopilot
- AWS SQS
- AWS Aurora RDS (PostgreSQL)
- AWS DynamoDB
- AWS Cognito
- AWS AppSync mit GraphQL
- AWS Amplify mit ReactJS, GitHub als Code Repository für CI/CD
- Datenanalyse Dashboards mit D3.js innerhalb der ReactJS WebApp
09/2011
-
12/2020
Diverse Projekte im BI & BigData & Data Analytics Umfeld in verschiedenen Rollen
Zertifikate
Reisebereitschaft
Weltweit verfügbar
Sonstige Angaben
Selbstständig mit GmbH Konstrukt (Serverless Native GmbH)
