image

Nous recherchons deux ingénieurs BIG DATA à Nantes pour des missions jusqu’en fin d’année, renouvelables :Besoin de 2 Data ingénieurs de niveau N2 minimum = 3 ans d’expérience minimum sur les technos : Big Data GCP/Big Query, Hadoop, Spark, Hive, Scala, Le Data ingénieur met en place la collecte et la mise à disposition des données au sein de l’entreprise. Il industrialise et met en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysentActivités et tâches :• Acheminement de la donnée• Mise à disposition de la donnée aux équipes utilisatrices• Mise en production de modèles statistiquesSuivi de projet de développement• Développement job spark• Traitement et ingestion de plusieurs formats des données ;• Développement des scripts• Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données• Développement des moyens de restitution via génération de fichier et ou API & DashboardingCollecter toutes les données et les fournir aux clients en tant qu’API ou fichiers. • Développer de pipelines d’ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI). • Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP. • Participer à la conception, mise en place et administration de solutions Big Data. Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d’extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka. • Normalisation et agrégation des données afin de produire les rapports sous forme de Business View. Ingénierie sur l’écosystème Big Data sur une infrastructure servant aux usages avancés de Data Science des établissements bancaires : sur la plateforme On premise Hadoop ou sur la plateforme cible Google Cloud Platform
Consultant en données Big Data, le Data ingénieur (= ICD Big Data) réalise les composants logiciels, les assemble et les met à disposition pour mise en Production, s’assure de leur comportement, leur pertinence dans le temps. Il rédige et met à jour les documentations associées.
Il construit les flux d’alimentation de données de la plateforme : création de Datalab, alimentation du Datalake…
Il maîtrise les processus d’ingénierie logiciel : qualité de code, disciplines de test, gestion de configuration, automatisation packaging/déploiement
Il adopte une démarche d’amélioration continue en proposant des améliorations de l’usine de développement
Il industrialise les modèles de Data Science en garantissant la pérennité, robustesse et performance des traitements en production ; en utilisant les patterns de déploiement standards, utilisé sur les plateformes concernées
Il peut assister les Data Scientist en contribution à l’analyse, la préparation des données l’exploration des solutions.
Il est en support technique des établissements sur les briques applicatives de la plateforme : habilitations,
Développements Big Data sur écosystème GCP/Big Query + Hadoop, Spark/SparkML, Hive, Scala, Python, R, Anaconda/Miniconda, . . .
Outils CI/CD : GIT, Bitbucket, Jenkins, XLR, XLD…
Data analyse et connaissance de systèmes décisionnels : SQL, HQL, BI

Profil
Développeur

Posté le 05/05/2022 par Alexandre TIMESTIT

Afficher tous les horaires
  • Lundi09:00 - 17:00
  • Mardi09:00 - 17:00
  • Mercredi09:00 - 17:00
  • Jeudi09:00 - 17:00
  • Vendredi09:00 - 17:00

juin, 2022

25

dimanche

DAY OFF

August 26,2019

  • Tuesday
  • 9:00am - 10:00am
  • AnnonceFreelanceFrance
Appointment confirmation email will be sent upon approval.

Awesome Job!

We have received your appointment and will send you a confirmation to your provided email upon approval.