Data Engineer Spark/ScalaNous recherchons un Data Engineer Spark/Scala
Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala.Les livrables sont:
Programmes développés
Dossier de conception technique
Dossier de tests unitaires
Compétences techniques:
Spark Scala - Confirmé - Impératif
Big Data - Confirmé - Impératif
Description détaillée:
Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes :
Solutions utilisées :
- Socle Big Data (OI1) :
o Compute : Yarn
o Storage: HDFS (avec chiffrement pour C3), Hive
o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos
Frameworks/langage/outils utilisés :
- MoveNAStoHDFS
- Moteur d'ingestion v2
- Spark Scala
- Dictionnaire de données
- Socle Data Science :
o DataiKu Automation
Frameworks/langage/outils utilisés:
- Spark 3
- HQL
Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.
CS GROUP SOLUTIONS est une société de conseil, prestataire de services en informatique et cabinet de recrutement. Spécialisée dans le placement de consultants experts dans le domaine des métiers de l’informatique. Nos chargés d’affaires définissent avec vous vos recherches, et vous proposent les meilleurs missions en adéquation avec vos compétences. Nous recrutons des profils informatiques à tous niveaux de responsabilité pour le compte d’entreprises utilisatrices, SSII et d’éditeurs de logiciels ... Nous sommes structurés en deux entités : -"Sociétés de Services", partenaire privilégié des clients grands comptes, nous sommes spécialisés dans la prestation de compétences IT en régie ou au forfait. -"Cabinet de Recrutement" , nous recherchons et recrutons des candidats tels que : ingénieurs d'études, consultants fonctionnels et/ou techniques, architectes, chefs de projet, etc. CS Group Solutions est spécialisé sur les compétences suivantes: - AS 400 - ERP - Réseau et Sécurité - Infrastructure - Nouvelle Techno/Web - BI, Supply chain - Système et Bureautique - Mainframe - ....