🇫🇷 Paris, France · 5h ago
Senior Research Engineer - LLM
OVHai LLM
LinkedInsenior
À propos de nousChez OVHai LLM, nous développons de grands modèles de langage (LLM) et concevons des plateformes et des services autour de ces modèles pour des cas d’usage spécifiques. Nous sommes une équipe soudée de 15 chercheurs et ingénieurs, unis par la curiosité et par l’envie commune de repousser les limites de ce que les LLM peuvent accomplir, de l’entraînement et du fine-tuning à l’évaluation et au benchmarking rigoureux.Notre équipe est réellement diverse et multiculturelle, réunissant des parcours, des points de vue et des façons de penser différents. Cette diversité est au cœur de notre manière de travailler : nous sommes convaincus que la meilleure recherche naît d’équipes qui se challengent mutuellement et apprennent les unes des autres au quotidien.Nous prenons notre travail au sérieux, mais pas nous-mêmes. Attendez-vous à un environnement collaboratif où les egos ont peu de place, à de nombreux débats passionnants, à des déjeuners partagés et à beaucoup de bonne humeur, ainsi qu’à de réelles opportunités de contribuer dès le premier jour à la recherche de pointe sur les LLM.Le posteIl s’agit d’un poste senior pour une personne ayant déjà participé à l’entraînement de LLM de bout en bout et souhaitant jouer un rôle moteur dans la construction de nos futurs modèles. Vous travaillerez aux côtés du reste de l’équipe de recherche et devrez avoir une expérience pratique approfondie d’au moins une étape de l’entraînement à grande échelle, des convictions fortes sur ce qui fait réussir ou échouer un run d’entraînement, et la capacité de transformer un article de recherche en expérience fonctionnelle sur un cluster multi-nœuds.Selon votre profil et les besoins de la feuille de route, vous pourrez vous concentrer sur l’un des axes suivants : la recette de pretraining principale, le post-training et l’apprentissage par renforcement, les données, l’évaluation, ou l’extension des modèles à de nouvelles modalités.Ce que vous ferezConcevoir, lancer et surveiller des runs d’entraînement sur des clusters GPU multi-nœuds (systèmes EuroHPC et infrastructure OVHcloud), des expériences d’architecture aux runs à pleine échelle de plusieurs milliards de paramètres sur des milliers de milliards de tokens.Améliorer et maintenir notre framework d’entraînement : stratégies de parallélisme, mémoire, débit, checkpointing, stabilité et reproductibilité.Contribuer à la recette à chaque étape : pretraining, mid-training, SFT, RLHF, RLVR et RL.Construire et étendre les pipelines de données qui alimentent ces runs : sourcing, filtrage, dédoublonnement, génération de données synthétiques, scoring de qualité, tokenisation.Concevoir des évaluations qui prédisent réellement l’utilité en aval, y compris des benchmarks spécifiques à un domaine, et s’assurer qu’elles tournent en continu.Travailler sur nos architectures LLM internes actuelles et concevoir les futures.Encadrer les ingénieur(e)s juniors et les stagiaires.Ce que nous recherchonsPlusieurs années d’expérience pratique dans l’entraînement ou le fine-tuning de grands réseaux de neurones, incluant au moins un projet sur des modèles de plus de 3 milliards de paramètres.Une grande maîtrise de PyTorch et du stack LLM moderne (écosystème Hugging Face, style FSDP/DeepSpeed/Megatron).Être à l’aise pour débugguer l’ensemble du stack : data loaders, NCCL et réseau, instabilités numériques, pics de loss.De bonnes pratiques d’ingénierie logicielle : tests, abstractions propres, revue de code, expériences reproductibles.Une capacité à lire un article de recherche récent, juger de sa pertinence pour l’entreprise, et l’implémenter.Anglais et français courants (écrit et oral).Atouts supplémentairesExpérience en post-training : RL de type SFT/DPO/GRPO, reward modelling, environnements RL et vérificateurs.Travail sur les données de pretraining à grande échelle : crawls web, déduplication, classificateurs de qualité, entraînement de tokeniseur, mix de données.Entraînement et inférence en basse précision, avec expérience pratique du FP8.Infrastructure d’évaluation et de benchmarking (lm-eval-harness ou solution interne), y compris évaluations basées sur des juges.Bonne compréhension des architectures hybrides ou state-space (Mamba, GDN, style Hymba) et des méthodes de contexte long.Inférence et serving (vLLM, SGLang, TensorRT-LLM, kernels personnalisés, Triton/CUDA).Expérience avec des modèles multimodaux ou de compréhension de documents.Slurm et Kubernetes ; expérience sur des centres HPC (EuroHPC, GENCI/Jean Zay, etc.).Publications dans des venues de référence, contributions open source, ou modèles publics publiés.Le processus de recrutementUn appel de présentation de 15 minutes avec un(e) chercheur(se) senior pour échanger sur le posteUn entretien et une étude de cas technique avec deux membres de notre équipe de rechercheUn entretien RH pour évaluer les soft skillsUne séance de débriefingSourced from LinkedIn. Relocantly aggregates public job postings; apply on the original site.