Hay entornos de datos donde desarrollar un pipeline es suficiente. Y hay otros donde cada decisión técnica afecta al rendimiento, la calidad, la trazabilidad y la capacidad de una organización para tomar decisiones a escala.Buscamos una persona experta en Data Engineering, Python y PySpark para participar en el desarrollo de data engines de alta complejidad. Trabajarás con AWS, diseñando y optimizando procesos distribuidos capaces de transformar grandes volúmenes de información en activos de datos fiables, reutilizables y preparados para crecer.En NTT DATA abordamos la tecnología desde su aplicación real: conectamos estrategia, conocimiento sectorial y capacidad de ingeniería para resolver retos que importan. Formarás parte de un equipo donde la excelencia técnica se comparte, se cuestiona y se construye de manera colaborativa.Tu reto:Diseñar, desarrollar y evolucionar data engines y pipelines de procesamiento de datos de alta complejidad con Python y PySpark.Optimizar procesos distribuidos en Apache Spark: rendimiento, particionamiento, gestión de recursos, costes y tiempos de ejecución.Diseñar soluciones de datos en AWS, integrando los servicios cloud más adecuados para cada necesidad.Construir procesos ETL/ELT robustos, escalables y mantenibles, con foco en calidad, trazabilidad y observabilidad.Colaborar en el diseño de modelos de datos, arquitecturas de almacenamiento y patrones de consumo para distintos casos de uso.Participar en revisiones técnicas y en la definición de buenas prácticas de ingeniería de datos dentro del equipo.Trabajar con perfiles de arquitectura, analítica, cloud y negocio para traducir necesidades complejas en soluciones de datos sostenibles.Contribuir a la evolución de cuadros de mando y capa de visualización con Amazon QuickSight, cuando el proyecto lo requiera.Lo que buscamos en ti:Al menos 4 años de experiencia como Data Engineer, Big Data Engineer o en posiciones similares.Dominio de Python, PySpark y Apache Spark en entornos de procesamiento distribuido.Experiencia desarrollando y optimizando pipelines de datos complejos y de alto volumen.Conocimiento práctico de servicios AWS aplicados a plataformas de datos.Conocimientos sólidos de SQL, modelado de datos y patrones ETL/ELT.Criterio técnico para analizar problemas de rendimiento, proponer mejoras y tomar decisiones de diseño.Capacidad para colaborar, compartir conocimiento y comunicar decisiones técnicas con claridad.Será un plus si además cuentas con:Experiencia con Amazon QuickSight.Conocimiento de servicios como AWS Glue, EMR, S3, Athena, Redshift, Lambda o Step Functions.Experiencia con Data Lake, Lakehouse, arquitecturas event-driven o gobierno del dato.Conocimientos de infraestructura como código, CI/CD, Docker o prácticas DataOps.Experiencia en entornos regulados o con requisitos elevados de calidad y seguridad del dato.Qué encontrarás en NTT DATA:Un reto de ingeniería donde profundizar en PySpark, procesamiento distribuido y arquitectura cloud, con impacto en plataformas de datos reales.La oportunidad de trabajar en proyectos relevantes para organizaciones de sectores como banca, energía, telecomunicaciones, industria, salud o administraciones públicas.Aprendizaje continuo, acceso a formación y certificaciones para reforzar tu especialización técnica.Un modelo híbrido en Madrid que combina autonomía y espacios de colaboración con el equipo.Medidas de flexibilidad y bienestar, además de beneficios sociales y opciones de retribución flexible conforme a las políticas de la compañía.Una red global de profesionales con la que compartir conocimiento, sin perder la cercanía de equipos que valoran las aportaciones individuales.Si disfrutas resolviendo problemas de datos que exigen profundidad técnica y quieres construir plataformas que funcionen a escala, este puede ser tu próximo reto.En NTT DATA creemos que toda persona es única y diferente y por ello apostamos por una cultura inclusiva que reconoce y valora la diversidad. Trabajamos día a día para crear un entorno en el que podamos explorar, vivir y potenciar nuestra propia singularidad.#WeAreAllUnique #YouMakeUsUnique Make THIS the place to GROW

Sourced from LinkedIn. Relocantly aggregates public job postings; apply on the original site.

Senior Data Engineer PySpark | AWS | Desarrollo de Data Engines