Skills
Wir glauben an Daten getriebene Entscheidungen.
eviit ist ein modernes, branchenübergreifendes Unternehmen das Kunden auf der ganzen Welt hochgradig organisatorische und technologische Produkte sowie Beratungs- und Umsetzungsleistungen anbietet.
Durch unsere hohe Spezialisierung steigern wir die Qualität und den Wert von Informationen und unterstützen Sie dabei neue Absatzwege zu beschreiten und Ihr Unternehmen zu optimieren.
Scrum, Big Data, Certified Developer, Certified Performance, Jira, ITIL, AWS, Java SE, Python, Ruby, Groovy, PHP, LUA, SQL, MDX, Javascript, HTML, Swift, Datenbanken, Exasol, MySQL, Postgres, Oracle, Hbase, Teradata, CouchDB, DB2, BigQuery, MongoDB, Linux, Windows, Mac, Talend Data Integration (DI) mit BigData, Talend Data Mapper, Talend, Metadata Manager, Talend Data Catalog, Data Lineage, Google, Cloud, Google Datastudio, Google Cloud Run, Google DataFlow, Alibaba Cloud, Azure, Terraform, GitLab, Pentaho DI, MapR, AMQP, Docker Swarm, Kubernetes, Pentaho BI Server, Jenkins, Maven, SVN, Git, Mondrian, PyCharme, Saiku, Olap, Rapid Miner, Apache Tomcat, SonarQube, Gambio, Kanban, Agile, Jira, Confluence, Docker, DI, Talend ESB, Java, Terradata, Google BigQuery, DevOps, GitLab CI, ETL, SaaS, Google Functions, Google Storage, CSS, DWH, Data Quality, Data Vault, IBM DB2, Natural Language Processing, API, Django, Flask, Python Framework, NLP, NLP API, Google Chrome Extension, DDL, HANA SQL Script, SAP ERP, SAP HANA, iOS, PL/SQL, Oracle Exadata, River-Bridge-Modell, Pentaho, Bash, Social Media, Webservices, Talend Data Integration, Teradata SQL, Delivery Pipeline, jUnit, HP ALM, Cherwell ITSM, Oracle SQL, Exasol SQL, BMC Control-M, Data Capture, Talend DI, CDC, Pentaho Business Intelligence Server (BI), MS Access, Machine Learning, AI, DWH, ETL, ELT, Data-Warehouse, Big Data, Data Engineer, Data Engineering, Engineering
Projekthistorie
Branche |
eCommerce |
Zeitraum |
03/2021 bis 08/2021 |
Rolle |
Data Engineer
|
Methodik und Technologien |
Jira, Confluence, Python, Javascript, SQL, Google Cloud, Big Query, Google Functions, Google Cloud Build, Google Cloud Run, Dataform, Google Workflows, Kubeflow |
* Onboarding neuer Kunden
* Weiterentwicklung & Wartung der Kubernetes Cluster
* Weiterentwicklung & Wartung der Infrastruktur
* Weiterentwicklung der Build-Pipeline
* Planung und Entwicklung einer Kubernetes BackUp und Recovery Strategie
Methodik und Technologien:
Jira, Confluence, Python, Terraform, AWS, Kubernetes, Velero, SAP Hana, Bash, Shell, Jenkins, R, Scrum
* Organisation eines Scrum Teams
* Team übergreifende Kommunikation
* Übernahme und Weiterentwicklung von Anwendungen in die Verantwortung des Teams
* Support für andere Teams bei Fragen bzgl. spezifischer Technologien
* Migration eine BI-Infrastruktur in die Google Cloud organisation Talend Ramp-Down auf Cloud native Technologien
Methodik & Technologien:
Jira, Confluence, Talend, Exasol, OpenShift, Docker, Container, Talend DI, Talend ESB, Java, Terradata, Google Cloud, Google Datastudio, Google BigQuery, Google DataFlow
* Planung und Entwicklung einer generischen CI/CD Pipeline mit GitLab CI für das Deployment in Google Cloud Run
* Planung und Entwicklung eines DWHs in Google BigQuery
* Near-Real-Time Beladung von Marktdaten mit Python-ETL-Jobs in Google-Func8ons
* Entwicklung einer kompleien Software-as-a-Service (SaaS) Lösung
* Entwicklung von neuralen Netzen zur Berechnung diverser Kennzahlen
Methodik und Technologien:
Python, Javascript, BigQuery, Google Functions, Docker, Kubernetes, Google Cloud, Google Datastudio, Google Storage, Gitlab, Elasticsearch, html, CSS
* Weiterentwicklung eines zeitgemäßen Data Quality Ansatzes
* Planung eines Talend Upgrads
* Planung eines DB2 Upgrades inkl. der Einführung der DB2 BLU für das gesamte DWH auf Data Vault 2 Basis
Methodik und Technologien:
Talend DI, Data Vault 2, IBM DB2
* MVP eines modernen und unternehmensweit einheitlichen DWH nach Data Vault
* Evaluierung verschiedener Architekturansätze im Rahmen der technischen Gegebenheiten
* Planung, Konzeption und Bau verschiedenster hoch dynamischer ETL-Strecken in Talend DI
* Entwicklung eines dynamsichen DDL-Generators in Python
* Entwicklung von ELT-Beladungsprozessen in HANA SQL Script
* Teamweite und Unternehms übergreifend Aufgabenverteilung mit Anlehnung an Scrum
* Enge Kommunikation mit den Stakeholdern (Anforderungs- & Erwartungsmangement)
Methodik und Technologien:
Talend DI, Python, SAP ERP, SAP HANA, Oracle, Data Vault, AWS
* Planung und Entwicklung einer modernen Rest-API auf Django (Python Framework) für Natural Language Processing Workflows
* Training von NLP Modellen (Neurale Netzwerke)
* Planung und Entwicklung einer generischen CI/CD Pipeline mit GitLab CI für das Deployment in Azure
* Planung und Entwicklung eines DWHs in Google BigQuery
* Near-Real-Time Beladung von Marktdaten mit Python-ETL-Jobs in Google-Functions
* Analyse von Trenddaten durch die NLP API mit dem Google Datastudio
* Bau einer Google Chrome Extension für die NLP API
Methodik und Technologien:
Python, Javascript, BigQuery, Google Functions, Docker, Kubernetes, Google Cloud, Azure, Google Datastudio, Gitlab
* Migration eines bestehenden Oracle DWH nach Exasol
* Migration von PL/SQL-Funktionen nach Lua
* Erweiterung eines bestehenden DWH-Frameworks auf Lua- & Python-Basis
* Koordination eines Projekt-Teams nach dem River-Bridge- Modell
Methodik und Technologien:
Python, Lua, Java, Exasol, Oracle Exadata, River-Bridge-Modell
* Ausarbeitung eines Trainings für Talend Best Prac8ces mit dem Schwerpunkt cimt Job Instance Framework und Con8nuous Delivery für Talend
* Erstellung von Schulungsmaterialien
* Durchführung der Schulung
Methodik und Technologien:
Talend Data Integration, Jenkins, Maven, Groovy
Methodik und Technologien:
xCode, Swift, Javascript, Google Storage, MongoDB
* Entwicklung und Konzeption eines neuen DWH-Systems
* Planung der Aufgaben und Koordination des ETL-Teams
* Einarbeitung und Hands-on-Training im Bereich Talend DI und Big Data
* Betreuung der Systeme (TAC, Git, etc.) bei Produktionsproblemen
Methodik und Technologien:
Talend Data Integration, MapR, AMQP, Talend Big Data, Exasol, Lua, MySQL
* Validierung bisher entwickelter ETL-Strecken
* Validierung der bisherigen DWH-Struktur
* Validierung der Vorgehensweise (Deployment, Testing, etc.)
Methodik und Technologien:
Talend Data Integration, Exasol, Data Vault
* Konzeption und Planung der Migration
* Durchführung der Migration
* Dokumentation der Migration
* Beratung bei der Wahl der Hardware bezüglich der zu erwartenden Auslastung
Methodik und Technologien:
Pentaho, MySQL, Bash
* Erstellung nachvollziehbarer Tesoälle zur Nachstellung der Fehlersitua8onen
* Analyse vorhandener komplexer Daten- und SQL-Strukturen
* Weiterentwicklung des Frameworks als Webservices
Methodik und Technologien:
Java SE, Talend Data Integra8on, Teradata SQL
* Analyse bestehender Deployment-Prozesse
* Optimierung einer Continuous Delivery Pipeline mit Jenkins
* Aktualisierung und Optimierung des Jenkins CI Servers
* Optimierung von Talend DI Build Prozessen
* Entwicklung von Groovy Scripts zur Build- Unterstützung
* Einführung von Talend Unit Tests (Test Cases)
* Betreuung der Docker Swarm-Infrastruktur
* Wiederherstellung einer stabilen Produktionsumgebung
* Optimierung des Docker Clusters auf Basis von Swarm
* Betreuung und Übergabe an Operations
Methodik und Technologien:
Talend Data Integra8on, Jenkins, Java, jUnit, GIT, Docker, Groovy, Docker Swarm, Python
* Qualitätsanalyse und Op8mierung von Talend Jobs anhand von Best Prac8ces
* Coaching
* Aufnahme, Analyse, Bewertung von Problemfällen und Change Requests
* Erstellung nachvollziehbarer Testfälle zur Nachstellung der Fehlersituationen auf Basis von Talend DI
* Analyse vorhandener komplexer Daten- und SQL-Strukturen
* Bereitstellung der Lösungen
Methodik und Technologien:
HP ALM, Cherwell ITSM, Java, Linux, Talend Data Integra8on, Teradata SQL, Oracle SQL, Exasol SQL, BMC Control-M
* Analyse bestehender Deployment-Prozesse
* Konzeption eines Software-Lifecycle-Prozesses mit Talend DI
* Aufbau einer Continuous Delivery Pipeline mit Jenkins
* Installation und Konfiguration eines Jenkins CI Server
* Integration von Talend DI Build Prozessen
* Einführung von Talend Unit Tests (Test Cases)
* Konfiguration des Deployments auf die Zielsysteme
Methodik und Technologien:
Talend DI, Jenkins, Java, jUnit, GIT, Apache Tomcat
* Analyse der aktuellen Hbase Talend Komponenten auf Change Data Capture (CDC) Funk8onalität
* Erstellung eines Prototyps mit manuellem CDC für das Einlesen von Daten aus Hbase-Tabellen
* Vorstellung des Prototyps und Entwicklungsperspek8ven für die Weiterentwicklung bestehender Talend-Komponenten
Methodik und Technologien:
Talend Big Data, Talend DI, CDC, Hbase
* Weiterentwicklung des Pentaho Frameworks
* Einführung eines Versionsmanagement-Systems
Methodik und Technologien:
Java, Pentaho Business Intelligence Server (BI), MySQL, GitLab
* Entwicklung von ETL-Prozessen zum Datenimport
* Einbindung (semi-)automatischer Korrekturmaßnahmen
* Konzeption und Erstellung geeigneter Visualisierungen (Dashboards)
Methodik und Technologien:
Pentaho DI, MDX, Saiku, MS Access, MySQL, Javascript
* Einrichtung einer Schulungsumgebung
* Erstellung geeigneter Schulungsunterlagen
* Durchführung des Trainings mit Mondrian Cubes
Methodik und Technologien:
Linux, MySQL, Pentaho BI-Server, MDX, Saiku, Mondrian
* Analyse und Auswahl geeigneter Shopsysteme
* Entwicklung eines Crawlers zur Datenintegration
* Weiterentwicklung und Support
Methodik und Technologien:
Python, Gambio, MySQL, PHP, HTML, CSS