PAS OUVERT AUX FREELANCESC’est une opportunité en CDI.Présentation du posteDans le cadre du développement et de l’industrialisation de notre plateforme Data, nous recherchons un Data Engineer confirmé disposant d’une solide expérience en environnement de production.Vous interviendrez sur la conception, le développement et l’industrialisation des pipelines de données, avec un rôle central autour de dbt, Airflow, Python et SQL, au sein d’une architecture Lakehouse organisée en couches Bronze, Silver et Gold.Vous travaillerez en étroite collaboration avec les architectes Data, les équipes métiers et les équipes BI, afin de mettre à disposition des données fiables, documentées et facilement exploitables.Missions principalesConcevoir, développer et maintenir les flux de transformation de données avec dbt.Développer et maintenir les DAGs Airflow pour orchestrer les traitements de données.Développer en Python les traitements d’ingestion, de préparation et de contrôle des données.Contribuer à la mise en place et à l’évolution des différentes couches de la plateforme Lakehouse : Bronze, Silver et Gold.Fiabiliser et industrialiser les traitements grâce à la mise en place de :tests de qualité des données ;contrôles et mécanismes de reprise ;optimisations des traitements ;supervision et suivi des exécutions.Documenter les modèles, traitements et flux de données.Contribuer au catalogage et à la gestion des métadonnées dans OpenMetadata.Préparer et structurer les jeux de données destinés aux usages métiers et au reporting, notamment pour Power BI, Metabase et SuperSet.Participer à l’amélioration continue des pratiques de développement, de déploiement et d’exploitation de la plateforme Data.Compétences techniquesData Engineeringdbt : très bonne maîtrise des modèles, macros, tests, documentation et traitements incrémentaux.Apache Airflow : très bonne maîtrise des DAGs, de la planification, des dépendances, de la supervision et des mécanismes de reprise.Python : maîtrise pour le développement de pipelines d’ingestion et de préparation des données.SQL : maîtrise pour l’analyse, la transformation et l’optimisation des données.Git / CI-CD : maîtrise des pratiques de versioning, revue de code et intégration/déploiement continu.Architecture DataExpérience des architectures Lakehouse et des modèles en couches Bronze / Silver / Gold.Expérience avec Starburst / Trino.Bonne compréhension des formats de tables et catalogues Iceberg.Notions d’OpenMetadata : catalogage, gestion des métadonnées et traçabilité / lineage des données.BI & ReportingConnaissance des outils de restitution et de reporting tels que :Power BIMetabaseSuperSetConnaissance métierUne connaissance des métiers de l’assurance et/ou du courtage constitue un atout.Profil recherchéData Engineer confirmé, avec idéalement 5 ans ou plus d’expérience en Data Engineering.Expérience significative de dbt et Airflow en environnement de production.Solide culture de la qualité logicielle et de l’industrialisation des traitements Data.Rigueur et autonomie dans la conception de traitements fiables, performants et maintenables.Capacité à travailler dans un environnement collaboratif et transverse.À l’aise dans les échanges avec les architectes Data, équipes métiers et équipes BI.Capacité à documenter les travaux réalisés et à partager les bonnes pratiques.Français courant.Anglais professionnel.Livrables attendusModèles et flux dbt testés, documentés et prêts pour la mise en production.DAGs Airflow robustes, testés, documentés et supervisables.Scripts et traitements Python dédiés à l’ingestion et à la préparation des données.Jeux de données structurés et qualifiés pour les différentes couches du Lakehouse.Jeux de données prêts à être exploités par les équipes BI et métiers.Documentation technique des modèles, traitements et flux de données.Contributions au catalogue de données et aux métadonnées dans OpenMetadata.Mise en place de contrôles permettant de garantir la qualité, la fiabilité et la traçabilité des données.Environnement techniquedbt · Apache Airflow · Python · SQL · Git · CI/CD · Lakehouse · Bronze / Silver / Gold · Starburst · Trino · Apache Iceberg · OpenMetadata · Power BI · Metabase · SuperSet

Sourced from LinkedIn. Relocantly aggregates public job postings; apply on the original site.

Data Engineer DBT, Airflow et Python