Connecting...

Data Engineer

Apply for this job
Location Lille, Nord-Pas-de-Calais Salary compétitif
Sector Engineering Type Permanent

Notre client, présent sur le marché depuis 10 ans et qui compte plus de 2200 collaborateurs dans le monde a connu une belle croissance et souhaite révolutionner les choses ; il a aujourd'hui un projet de grande ampleur. Pour ce faire, il a besoin de nouvelles ressources talentueuses pour l'accompagner dans ce très gros projet.

Vous collaborez au sein d'une équipe Data pour concevoir et construire les solutions de traitement de données répondant aux besoins des clients.

  • Vous concevez et bâtissez une data pipeline scalable capable d'ingérer facilement, stocker de manière fiable et traiter rapidement la donnée issue de centaines de milliers d'endroits à travers le monde.

  • Vous intégrez les divers systèmes afin d'avoir une collecte en temps réel des données sources

  • Vous opérez les modèles de Machine Learning

  • Vous développez des catalogues de donnée et implémentez les traitements pour assurer une intégrité et une qualité optimale de la donnée

  • Vous construisez des processes ETL pour une transformation efficace et rapide de la donnée

  • Vous implémentez les métriques pour fournir une visibilité sur l'état des systèmes

  • Vous automatisez les processus et outils sur la plateforme

  • Vous êtes force de proposition afin de permettre l'amélioration de plateforme

  • Vous optimisez et scalez l'architecture des services que vous concevez

Vous avez une expérience en développement Java, Scala ou Python autour du traitement de la donnée.

Vous avez de bonnes connaissances SQL

Vous connaissez les concepts de Machine Learning

Vous maîtrisez les systèmes de traitements de données distribuées que ce soit en batch ou streaming : Kafka, Hadoop, Spark

Vous avez une bonne connaissance du design de schémas et des techniques d'optimisation de requêtes

Vous comprenez les alternatives NOSQL telles que ElasticSearch, Cassandra, Redis...

Vous avez de bonnes connaissances de technologies cloud comme AWS et Azure

Vous avez une expérience de Continuous Integration/Continuous Delivery et Test Driven Development

Vous travaillez en Agile

Vous parlez en Anglais