Data Engineer Scala Spark

Lieu: Nord, Nord-Pas-de-Calais, France
Salaire: compétitif
Secteurs: IT
Type d'emploi: Consulting
Postuler pour cet emploi

Notre client est un grand groupe international situé dans le Nord de la France.

Ce client, à travers son projet d'API commercial, agrège les commandes de ventes et les données connexes dans le système data lake pour l'ensemble du groupe (à l'international). Les données harmonisées serviront de source unique pour tous les futurs projets et besoins en data.

Les données seront mises à la disposition des clients internes et externes via une liste d'API. Le projet Commercial API utilise une organisation Agile / SCRUM.

L'équipe est implantée dans le Nord de la France et en Allemagne et se compose de 6 à 7 développeurs avec des profisls Data Engineer ou Web Developer. 2 Business Analysts sont situés en Allemagne.

Environnements techniques du projet :

Big Data Platform : Saagie Data Fabric (basé sur Cloudera) & AWS Technologies : Hadoop, Hive, Impala, Spark, Scala, Docker, Java, Postgresql, S3, SAP BO Data Services (BO DS)

Objectifs :

En tant que membre à part entière de l'équipe du projet, l'Ingénieur Informatique est chargé de développer, maintenir, tester et évaluer des systèmes de traitement de données à grande échelle. Il/Elle travaille avec les équipes commerciales et informatiques et les data scientists pour identifier les besoins en données et construire des processus ELT pour transformer les données de source structurées, non structurées et disparates en magasins/magasins de données cibles.

Services attendus :

En tant que Data Engineer, la personne est responsable des activités du projet liées au développement des processus ELT :

- Contribuer à la définition et à la réalisation des jalons et des sprints du projet

- Collaborer avec les équipes commerciales et informatiques pour récupérer, transformer et fournir des données pertinentes

- Participer à la conception et à la documentation des conceptions techniques

- Créer des réseaux de données

- Effectuer des tests techniques (y compris des tests d'unité, d'intégration et de performance)

Livrables attendus :

- Billets JIRA commentés et mis à jour : Tickets Jira pour chaque demande - Résultats des tests - Squash pour chaque ticket Jira traité

- Documentation technique - Word pour chaque demande résolue

- Transfert de connaissances - Excel sur demande

- Notes de mise à jour / Change Log - pour chaque demande résolue

- Livraison du produit selon la norme de qualité Groupe - Code pour chaque demande résolue

Si vous vous reconnaissez dans cette mission, contactez moi rapidement au 06.19.89.11.46 afin de vous donner plus de détails sur la mission.

A très vite!


Arnaud

Afin de vous épanouir dans cette mission, vous avez une personnalité vous permettant de pouvoir vous intégrer rapidement dans une équipe et un projet.

Les déplacements ponctuels à l'étranger ne vous dérangent pas.

Du point de vue techniques :

Compétences requises :

  • Compétences obligatoires

- Scala/Spark

- Hadoop

- Impala

- Hive

- SQL / Relational Database Management System (RDBMS)

- Maîtrise de l'anglais

  • Compétences facultatives

- AWS

- SAP BO Data Services (SAP BODS)

Postuler pour cet emploi