🇳🇱 Utrecht, Netherlands · 2w ago
Data Streaming Engineer
OverheidZZP
LinkedInmid
Over de functieIn het kort: Je gaat in een innovatief datateam realtime streamingoplossingen ontwerpen, bouwen en beheren op Azure en Databricks, machinelearningmodellen integreren en zo nauwkeurige reizigersprognoses en operationele inzichten mogelijk maken.Dit ga je doenDaarom wil je als Data Streaming Engineer bij NS werkenJe draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen.Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling.Je stapt in op het moment dat FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform.Dit ga je doen als Data Streaming EngineerData vormt een essentieel onderdeel van al onze processen en kent een constante dynamiek. Dit is niet overdreven, dagelijks vertrouwen ruim één miljoen reizigers in Nederland op onze technologie voor het verkrijgen van accurate informatie en het faciliteren van het treinverkeer. Vanuit het hoofdkantoor in Utrecht werken diverse teams op de achtergrond aan het realiseren van deze uitdagingen binnen een innovatieve dataomgeving.Binnen het cluster Reizigersstromen werk je als Data Streaming Engineer mee in team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere het realisatiemodel dat achteraf het aantal reizigers per trein nauwkeurig in kaart brengt. De uitkomsten van dit model vormen de basis voor processen zoals het berekenen van concessie-KPI’s, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses. Naast dit bestaande FLUX-product starten we met FLOW: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag.FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks. Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Belangrijke databronnen zijn onder andere check-in/check-uit transacties, ticketverkoop, dienstregelingen updates en conducteurscontroles. Met deze data bouwen we realtime inzichten en prognoses die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie.Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW.Dankzij jouw expertise in streaming architecturen, cloudcomponenten en machine learning ben jij van onschatbare waarde bij: Het ontwerpen, bouwen en beheren van schaalbare streaming pipelines voor realtime prognoses binnen FLOW. Het inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Het integreren van machine learning in streaming datastromen, zodat prognosemodellen continu kunnen werken met actuele informatie. Het ontwikkelen van deploymentstrategieën voor streaming applicaties, met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases. Het ontwerpen van replay-mechanismen waarmee historische streaming events gecontroleerd opnieuw kunnen worden afgespeeld bij incidenten, testen of modelverbeteringen. Het opzetten van streaming operations, monitoring, alerting en observability om een stabiele productieomgeving te garanderen. Het analyseren van datastromen en operationele metrieken om zwakke plekken in pipelines, modellen en processen snel zichtbaar te maken. Het samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen.Hier ga je werkenOp loopafstand van station Utrecht Centraal bundelen ruim 300 collega´s van de afdeling Data, Innovatie & Analyse (DIA) hun krachten. Hier werkt een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. In scrumteams werken we agile samen om kwalitatief hoogwaardige en innovatieve dataproducten te leveren die (interne) gebruikers snel en betrouwbaar inzicht om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie.EisenDienstverband: Detachering Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen. Je brengt expertise op het gebied van streaming over binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien. Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks. Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git. Je hebt ervaring met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen. Je hebt ervaring met deploymentstrategieën voor data- of streamingapplicaties en denkt bewust na over releases, rollback, betrouwbaarheid en schaalbaarheid. Je hebt kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen. Je schrijft schone, goed geteste code in Python en PySpark en bent kritisch op details, edge cases en operationele robuustheid. Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen(WW, WAO, WIA en ZW) worden afgedragen. Deze opdracht is niet geschikt voor zelfstandig ondernemers en professionals (waaronder zzp’ers) die zichzelf uitlenen. Deze opdracht is ook niet geschikt voor de directeur-grootaandeelhouder die niet is verzekerd voor de werknemersverzekeringen. Ik verklaar dat de aangeboden kandidaat geen zelfstandig professional is, ook niet via een doorleenconstructie. Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen. Je brengt expertise op het gebied van streaming over binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien. Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks. Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git. Je hebt een uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal.Wensen Geen wensenOverige informatieOptie tot verlenging: Ja, optioneelGespreksdatum: zo snel mogelijkDienstverband: DetacheringOver de opdrachtgeverDe Nederlandse Spoorwegen is de belangrijkste spoorwegexploitant van Nederland. Het bedrijf is verantwoordelijk voor het beheer en onderhoud van het Nederlandse spoorwegennet, evenals het exploiteren van treindiensten voor passagiers en goederenvervoer. De Nederlandse Spoorwegen bieden een breed scala aan treindiensten aan, waaronder intercitytreinen, sprinters en internationale treinen naar omliggende landen. Het bedrijf streeft ernaar om reizigers veilig en comfortabel te vervoeren van en naar hun bestemmingen.De sluitingsdatum van deze opdracht is de harde deadline van onze opdrachtgever. Om je krachtig voor te kunnen dragen hebben wij minimaal één werkdag nodig om samen met jou alle bescheiden in orde te maken. Wanneer je interesse hebt in deze opdracht en overtuigd bent van een sterke match, reageer dan direct! Naast een actueel en op de opdracht gericht CV zullen wij altijd vragen om een bondige persoonlijke motivatiebrief (inclusief een toelichting per functie-eis en -wens) en een indicatief uurtarief/maandloon.Op basis van deze informatie kunnen wij voor je aan de slag! We nemen contact met je op om alle verdere details goed door te nemen en duidelijke afspraken met je te maken.Sourced from LinkedIn. Relocantly aggregates public job postings; apply on the original site.