🇫🇷 Paris, France · 6h ago
Data Product Engineer
Free-Work
LinkedInsenior
ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners.MissionsConcevoir des flux de données et des Data ProductsDévelopper des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigDataDévelopper des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet)Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst GalaxyConfigurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage)Collaborer avec les domain teams pour identifier les sources de données et les cas d’usageDocumenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst DiscoverParticiper à la définition des standards d’interopérabilité (formats communs, APIs de données)Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude)Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data productsContribuer à l’amélioration continue de la plateforme Starburst (scaling, caching, federation)Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime)Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques)Data ModelingPipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégrationStockage : connaissance des formats Iceberg, Parquet, S3Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC)DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes)Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bashCompétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance)Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers)Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées)Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOpsPédagogie : capacité à expliquer des concepts techniques à des non-expertsAutonomie : prise d’initiative dans un cadre agileEnvironnement techniqueExpertise écosystème zoo HadoopConnaissance / maîtrise DataConnaissance / maîtrise technique de l’environnement DevOpsMaîtrise technique de l'environnement DataExpertise couche d'accès et d‘échange (Kafka, Nifi, …)Expertise Java, Scala, Python, Hive, SparkExpertise ETL, BashExpertise SQL / NoSQLProfil candidat:Expérience avancée en développement de pipelines sur Talend RealTime BigData (Talend Studio en mode batch ou route)Expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques)Expérience avec Airflow/Astronomer, Spark, Talend Data intégrationConnaissance des formats de stockage Iceberg, Parquet, S3Familiarité avec les outils de sécurité et gouvernance (Ranger, RBAC)Pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes)Maîtrise des langages : SQL avancé (obligatoire), Python (Pandas, PySpark), bashCompréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance)Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers)Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées)Esprit collaboratif : travail avec les équipes métiers, data scientists, et DevOpsPédagogie : capacité à expliquer des concepts techniques à des non-expertsAutonomie : prise d’initiative dans un cadre agileExpertise dans l'écosystème HadoopMaîtrise technique de l'environnement Data et DevOpsExpertise sur les couches d'accès et d’échange (Kafka, Nifi)Expertise en langages Java, Scala, Python, Hive, SparkExpertise en ETL, BashExpertise en SQL / NO SQLSourced from LinkedIn. Relocantly aggregates public job postings; apply on the original site.