Connecting...

DevOps

Apply for this job
Location Paris, Île-de-France Salary compétitif
Sector IT Type contract

Je recherche actuellement un Developpeur Big Data confirmé pour une mission à Paris à pourvoir ASAP.

La personne devra intégrer l'équipe Datalake.

Logistiquement :

il s'agit d'un poste à Paris avec déplacements sur Lyon 1 à 2 fois par semaine.

Dans un premier temps pour la montée en compétences, il faudra commencer par 1 mois ou 2 à temps plein sur Paris.

Les missions sont les suivantes :

Développement et évolution du catalogue de la chaîne d'ingestion

- Concevoir, réaliser et maintenir le moteur d'ingestion

- Concevoir, réaliser et maintenir les connecteurs entre B4ALL et les SI Source

- Gérer les métadonnées lors des ingestions en accord avec Datapedia, conformité et GDD

- Mettre à jour le DAT, le DEX, les consignes de reprise/ exploitation

- Produire les métriques, concevoir, réaliser et mettre à disposition les outils de supervisions (Alerting infogérant Patrol, Métriques Idatha, logs IdathaLog …) de la chaîne d'ingestion

- Définir et automatiser le déploiement des versions de la chaîne d'ingestion

- Déployer la chaîne d'ingestionsur les environnements de développement et recette

- Etre en support lors de MEPP et MEP

Développement de flux au sein du catalogue de la chaîne d'ingestion

- Configurer les nouveaux flux

- Définir et automatiser le déploiement des flux

- Mettre à jour le DAT, le DEX, les consignes de reprise/ exploitation

- Produire les métriques, concevoir, réaliser et mettre à disposition les outils de supervisions (Alerting infogérant Patrol, Métriques Idatha, logs IdathaLog …) des flux

- Déployer les flux sur les environnements de développement et recette

- Configurer les VM (virtuoses et gates) sous jacentes aux flux

- Etre en support lors de MEPP et MEP

Recette

- Etre en charge de la recette sur son périmètre ainsi que la recette transverse

- Etre en charge des TNR

Mise à disposition des données

- Concevoir et réaliser les solutions d'accès aux données du DataLake et des BDP

- Définir et automatiser le déploiement des solutions d'accès aux données du DataLake et des BDP

- Mettre à jour le DAT, le DEX, les consignes de reprise/ exploitation

- Produire les métriques, concevoir, réaliser et mettre à disposition les outils de supervisions (Alerting infogérant Patrol, Métriques Idatha, logs IdathaLog …) des solutions d'accès aux données du Datalake et des BDP

- Déployer sur les environnements de développement et recette

- Etre en support lors de MEPP et MEP

Inventaire et capacity planning des flux

- Mettre à jour de l'inventaire des flux, des objets métiers, des BDP et des solutions d'accès aux données

- Mettre à jour de l'inventaire des VM (virtuoses et gates) sous jacentes aux flux

Robustesse de la chaîne d'ingestion et des outils d'accès aux données

- Assurer la robustesse de la chaîne d'ingestion et de l'accès aux données du Datalake et des BDP

- Mettre en place et appliquer les bonnes pratiques de cybersécurité

Support niveau 3 sur la chaîne d'ingestion et des BDP

- Etre en charge de la résolution des incidents et des anomalies sur la chaîne d'ingestion, l'ingestion des flux, les solutions d'accès aux données relayées par le biais de l'équipe « Run B4ALL » en accord avec les SLA.

- Concevoir et/ou réaliser des solutions de contournement (le cas échéant) en production avant livraison des correctifs.

Connaissances :

- Connaissance de la suite Hortonworks Data Platform (HDFS, Hbase, Hive)

- Maitrise de Kafka Confluent

- Connaissance du format Avro

- Maitrise des langages de développements : Spark Scala

- Maitrise des principes Agile.

- Maitrise de Jira