Projet :Au sein d'un grand groupe international, dans un contexte de transformation data à l'échelle européenne, l'objectif est de faire évoluer une plateforme Big Data stratégique visant à centraliser et fiabiliser des indicateurs clés pour plusieurs entités du groupe. Déjà opérationnelle sur un premier périmètre, la plateforme doit désormais être étendue à de nouveaux pays. Le consultant interviendra en tant que Data Engineer senior au sein de l'équipe cœur, en lien étroit avec les équipes métiers, les architectes et les équipes de déploiement locales. Il participera à la construction du socle commun (ingestion, traitement, normalisation et exposition des données) ainsi qu'à l'industrialisation de la plateforme : monitoring, CI/CD, tests, performance et qualité de code.Environnement technique :Langages : Python (POO, packaging, modularisation), PySpark, SQLBig Data : Spark, Databricks, HDFS / S3 / ParquetCloud AWS : S3, Glue, Lambda, IAM, CloudWatchDevOps : Git, CI/CD, Infrastructure as CodeArchitecture : architecture en couches, solutions de stockage et d'exposition des donnéesMissions principales :Recueillir, challenger et affiner les besoins métiersConcevoir des solutions en cohérence avec les standards d'architecture du groupeDévelopper et maintenir les pipelines d'ingestion, de traitement et de distribution des donnéesOptimiser les traitements distribués (partitionnement, bucketing, cache, optimisation mémoire et requêtes)Contribuer au framework commun : monitoring, alerting, tests, CI/CD, résilienceAccompagner les développeurs de l'équipe sur la qualité et les bonnes pratiquesRédiger et maintenir la documentation technique en anglaisProfil recherché :Expérience d'au moins 6 ans en tant que Data Engineer, dont une partie sur des environnements Big DataSolide maîtrise de Python et PySpark, avec une vraie culture du software engineering (design, réutilisabilité, tests)Expérience sur Databricks et/ou Spark sur AWSBonne connaissance de l'écosystème AWSMaîtrise de la modélisation de données et de SQLPratique des chaînes CI/CD et de l'Infrastructure as CodeCapacité à encadrer techniquement des développeurs et à porter la qualité de livraisonProactivité, esprit d'équipe et capacité à mener plusieurs sujets en parallèleFrançais et anglais courantsMission basée en Île-de-France, avec des déplacements ponctuels en France et en EuropeProcessus de recrutement :Une préqualification téléphoniqueUn entretien RH avec un(e) chargé(e) de recrutementUn entretien technique avec un(e) consultant(e) senior ou un responsable Data

Sourced from LinkedIn. Relocantly aggregates public job postings; apply on the original site.