image

Description de la mission :
La mission consistera à : Construire et maintenir des pipelines data robustes et scalables pour alimenter notre Data Lake et notre Data warehouse Construire et maintenir des workflows GitLab CI/CD pour aider l’équipe à délivrer tout en assurant la qualité, la fiabilité et la disponibilité des données en production Développer des composants internes configurables d’ingestion et de traitement de données (ETL, API Rest) Optimiser les traitements de données, refactorer les codes et participer activement aux revues de code Expertises requises
Expertise data : structures de données, code, architecture
Expériences dans le développement des pipelines data
Expérience sur les architectures Cloud (AWS, GCP, Azure), idéalement sur GCP
Excellente maîtrise des langages/frameworks : Python, SQL, Spark
Expérience dans l’orchestration des workflows data avec Airflow : création des DAGs, refactoring
Expérience Architecture as Code, idéalement sur Terraform
Maîtrise des traitements ETL et gestion des flux de données : collecte, transformation, stockage, distribution
Expérience en déploiement et maintien des jobs/dags/app dans un environnement de production.
Bonnes connaissances de Git, Gitlab CI/CD et des process de delivery
Capacité à vulgariser et à communiquer sur des aspects purement techniques
Expérience professionnelle en méthode Agile (Scrum, Kanban)

Profil recherché :
Pour notre client, nous recherchons un Data Engineer Big Data Senior pour une mission longue.

Entreprise
:
Au sein de l’équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers. Cette plateforme est aujourd’hui composée d’un Data Lake et d’un Data warehouse.

Publiée le 20/06/2022
par Freelance.com

Afficher tous les horaires
  • Lundi09:00 - 17:00
  • Mardi09:00 - 17:00
  • Mercredi09:00 - 17:00
  • Jeudi09:00 - 17:00
  • Vendredi09:00 - 17:00

juin, 2022

30

jeudi

    August 26,2019

    • Tuesday
    • 9:00am - 10:00am
    • AnnonceFreelanceFrance
    Appointment confirmation email will be sent upon approval.

    Awesome Job!

    We have received your appointment and will send you a confirmation to your provided email upon approval.