Spark Developer

Nord-Holland, Amsterdam  ‐ Vor Ort
Dieses Projekt ist archiviert und leider nicht (mehr) aktiv.
Sie finden vakante Projekte hier in unserer Projektbörse.

Beschreibung

Responsibilities
• Create Scala/Spark jobs for data transformation and aggregation
• Produce unit tests for Spark transformations and helper methods
• Write Scaladoc-style documentation with all code
• Design data processing pipelines
Skills
• Scala (with a focus on the functional programming paradigm)
• Scalatest, JUnit, Mockito {{ , Embedded Cassandra }}
• Apache Spark 2.x
• {{ Apache Spark RDD API }}
• {{ Apache Spark SQL DataFrame API }}
• {{ Apache Spark MLlib API }}
• {{ Apache Spark GraphX API }}
• {{ Apache Spark Streaming API }}
• Spark query tuning and performance optimization
• SQL database integration {{ Microsoft, Oracle, Postgres, and/or MySQL }}
• Experience working with {{ HDFS, S3, Cassandra, and/or DynamoDB }}
• Deep understanding of distributed systems (e.g. CAP theorem, partitioning, replication, consistency, and consensus)
Start
2019
Von
Adroit People Ltd
Eingestellt
17.10.2019
Ansprechpartner:
Hema S
Projekt-ID:
1837030
Vertragsart
Freiberuflich
Um sich auf dieses Projekt zu bewerben müssen Sie sich einloggen.
Registrieren