D6 Frankfurt #AF-1580 Apache Spark Entwicklungs-Experte (m/w/d)

Hessen, Frankfurt am Main  ‐ Vor Ort
Dieses Projekt ist archiviert und leider nicht (mehr) aktiv.
Sie finden vakante Projekte hier in unserer Projektbörse.

Beschreibung

Projekt-/Aufgabenbeschreibung:

Das Gesamtziel ist die Entwicklung eines intelligenten Open Source SOC-Systems (Security Operations Center), eines SIEM-Systems der nächsten Generation (Security Information and Event Management). Der Schwerpunkt liegt auf der neuestem Data Science, KI/Maschinelles Lernen, neuronales Deep Learning, XAI (eXplainable AI) und IoT/OT (Operational Technology).

• Anforderungen – must have:
o Apache Spark als Standalone-Lösung und skalierbar mit YARN oder Mesos
o Kenntnis der Programmierung der gängigen Spark Libraries: MLlib, SQL, Streaming, GraphX, Performance Tuning
o Alluxio Caching
o Idealerweise Erfahrung mit TransmogrifAI
o Data-Science Erfahrung mit Spark, möglichst vielen Algorithmen und weiteren Libraries wie XGBoost, CatBoost, WEKA/MOA, KNIME, H2O.ai
o Messaging-Erfahrung mit Apache Kafka, Flume, Nifi, JMS, MQTT, CQRS
o Umfassende Scala (oder notfalls Java) oder Python (PySpark) Programmiererfahrung
o Erfahrung in mindestens einem der optionalen Toolsets sowie weiterhin in mindestens einem dieser Toolsets:
o OpenSCAP, Moloch, ntopng, Wireshark + plugins
o Fluentd Message Parser
o Cyber Grand Challenge (CGC) Tools
o Erfahrung mit Open Source SIEM/SOC Systemen wie Apache Metron/HCP (Hortonworks Cybersecurity Platform), dataShark, Apache Spot, Alienvault OSSIM,
Graylog, SIEMonster, Hunting ELK (HELK), Wazuh, MozDef, OSSEC, Prelude OSS, Snort, QuadrantSec Sagan, Suricata
o Open Source SIEM/SOC Stacks und ihre Nutzung: Incident-Erkennung mit Rulesets oder Apache Spark, Apache Kafka, KafkaCat, Flume, Erstellen von Regeln, Einrichten als Log-Server
o Erfahrung mit verschiedenen Tools zur Protokollaggregation, SIEM oder SOC wie IBM QRadar, ArcSight, LogRhythm oder Splunk
o Erfahrung in der Arbeit in funktionsübergreifenden Abteilungen und Teams.
o Deutsche oder englische Sprachkenntnisse (fließend)


• Anforderungen – should + nice to have:
o Erfahrung mit anderen Parallel-Processing-Plattformen wie Apache Flink, Apache Apex
o OCS Inventory NG
o System Config + Activity Analysis: Sigar, Config. Discovery, File Integrity Checker (Afick)
o Kenntnis möglichst vieler eXplainable AI (XAI) Techniken: Learn to Explain, Anchors, GAM, LRP, LOCO, LIME, SHAP, PDP + ICE Plots, Counterfactual method, Causality
o PenTesting-Tools: AutoSploit, Metasploit, Burp Suite, NeXpose, Nessus, Tripwire, CORE Impact, Kali Linux, Snort, Bro, Argus, SiLK, tcpdump, WireShark, parosproxy, mitmproxy, nmap, Security Onion, Bro, Sguil, Squert, CyberChef, NetworkMiner, Silk, Netsniff-NG, Syslog-NG, Stenographer, osquery, GRR Rapid Response, Sysdig Falco, Fail2Ban, ClamAV, Rsyslog, Enterprise Log Search and Archive (ELSA), Nikto, OWASP Zap, Naxsi, modsecurity, SGUIL, Mimikatz, CORE Impact, Kali Linux
o Cyber Grand Challenge (CGC) Tools: BinaryAnalysisPlatform bap, angr, s2e, KLEE, AFL (American fuzzy lop), Strace, ZZUF, Sulley, BitBlaze, Shellphish/Mechaphish Tools:
how2heap, fuzzer, driller, rex
o OpenSCAP, Moloch, ntopng, Wireshark + plugins
o SQL-basierte Abfragen: SploutSQL, Norikra + Esper
o Fluentd Message Parser
o Apache Nifi / Hortonworks DataFlow
o Elastic Stack (Beats, Logstash, Elasticsearch, Kibana, React or Angular UI Entwicklung für Kibana)
o Solr Stack (SolrCloud, SolrJ Client, Banana)
o TensorFlow-Stack mit Keras, AutoKeras oder PyTorch + Auto-PyTorch + AddOns, Uber Horovod
o Apache Drill Queries, UIs und Anpassungen: Entwicklung von Drillbits
o Certified Information Systems Security Professional (CISSP)
o Web Application Security Development (OWASP)
o Sicherheits-Technologie und Architektur-Kenntnisse incl. gängige Kryptographie-Algorithmen
o Ansible, Juju, MAAS, Kubernetes/K8s + Docker, ggf. Minikube, Microk8s
o Protocols: AES, RSA, SHA, Kerberos, SSL/TLS, Diffie-Hellman
o DBs: HBase + Phoenix, Hive, PostgreSQL, Druid, Aerospike, Hive, Lucene/Solr/Elasticsearch, SploutSQL
o NLP-Stack mit Google BERT/Sling, spaCy, GPT-2, Stanford CoreNLP, AllenNLP, OpenEphyra, DELPH-IN PET Parser, Enju, Grammix
o Logik-/Semantik-Tools: Protégé, LOOM, RDF (Resource Description Framework)/SPARQL, OpenCog, Apache Jena OWL, Frame-Logik
o Blitz Incident Response
o Big Data Grundlagen wie HDFS, Data Lake, Zookeeper, Hive, JDBC, Management Tools (Ambari, Ranger, etc.), Hadoop Secure Mode
o SSO (Single Sign-On), Identity & Access Management (IAM/IdM), LDAP, Role Mapping, Kerberos, TLS, OAuth, OpenId Connect
o Erfahrung im Bereich IoT/OT.
o Praktischer Umgang mit ITIL-Prozessmanagement oder SOC-Prozessen.
o Kenntnisse der Informationssicherheit (vorzugsweise basierend auf den Normen ISO )
o Erfahrung mit Agile Frameworks wie Scrum, Design Thinking, SAFe.


Umfeld (Must Have):
ApacheSpark, Apache Kafka, Yarn, Maros, XG Boost, Transmognif AI, Flume Apache Nifi, JMS

Umfeld (Nice to Have):
Apache Flink, Sigar, Autosploit, angr, Scrum, Design thinking, SaFe

Sonstiges:
mit Option auf Verlängerung!

Beginn:
ASAP

Ende:
03.01.2020

Ort:
Frankfurt am Main

Auch wenn Sie zur Zeit nicht verfügbar sind oder die Tätigkeit fachlich nicht Ihren derzeitigen Wünschen entspricht, möchten wir Sie bitten, uns folgende Angaben mitzuteilen:
1) Verfügbarkeit
2) Stundensatz
3) Mögliche Einsatzorte
4) Aktuelles Profil (Word-Format)

Auf diese Weise können wir Sie auch in Zukunft fachgerecht und entsprechend Ihrer Verfügbarkeit rechtzeitig über unsere Stellenangebote informieren.

Vielen Dank für Ihre Unterstützung!

Mit freundlichen Grüßen

Raquel Munoz
Subcontractor Managerin

PENTASYS AG
Solmsstr. 41
60486 Frankfurt am Main
Tel.
Fax
Web www.pentasys.de
E-Mail

Vorstand: Rüdiger Azone (CEO), Margit Cabolet, Dr. Lothar Ludwig, Thomas Worofsky
Aufsichtsratsvorsitzender: Jérôme Gontard
HR München HRB 167896
Start
ab sofort
Dauer
4 Monate
(Verlängerung möglich)
Von
PENTASYS AG
Eingestellt
07.10.2019
Ansprechpartner:
Raquel Vanesa Munoz Castillejos
Projekt-ID:
1832150
Vertragsart
Freiberuflich
Um sich auf dieses Projekt zu bewerben müssen Sie sich einloggen.
Registrieren