Recrutement

Le CNRS recrute un post-doctorant " Localization integrity and Uncertainty propagation in multi-robot systems" (H/F)

• Lieu de travail : COMPIEGNE
• Durée du contrat : 24 mois
• Date d'embauche prévue : 2 janvier 2024
• Rémunération : entre 2700 et 3000 bruts suivant l'expérience
• Niveau d'études souhaité : Niveau 8 - (Doctorat)
• Section(s) CN : Sciences de l'information : traitements, systèmes intégrés matériel-logiciel, robots, commandes, images, contenus, interactions, signaux et langues

+ Voir l'offre détaillée

Data-driven detection and identification of personal mobility devices

Duration and Beginning :
18 months, should start in December 2023 / January 2024

Project :
ANR ANNAPOLIS project.inria.fr/annapolis/

Affiliation :
Université de Technologie de Compiègne – Heudiasyc SyRI (work location)
École Centrale de Nantes – LS2N ARMEN

Supervisors, people ton contact :
Julien Moreau (Associate Professor, Heudiasyc, julien.moreau@hds.utc.fr)
Franck Davoine (Senior Researcher, CNRS, Heudiasyc, franck.davoine@hds.utc.fr)
Vincent Frémont (Full Professor, LS2N, vincent.fremont@ls2n.fr)

Context (in French and English) :
Ce travail de recherche s’inscrit dans le projet ANR ANNAPOLIS (https://project.inria.fr/annapolis/),
coordonné par l’INRIA. Le projet ANNAPOLIS vise à détecter et identifier les appareils de mobilité
personnels (AMP) électriques en environnement urbain, pour prédire leur trajectoire et assurer la
sécurité de la conduite. Des données vidéo et LiDAR sont extraites du point de vue véhicule et RSU
(road side units), avec fusion de type V2X (vehicle to infrastructure). Le postdoc travaillera en
collaboration étroite avec un doctorant focalisé sur la génération de cartes hybrides augmentées par la
fusion V2X (par réseaux type V2VNet [1]). Dans le projet, en plus de l’usage de jeux de données
existants, des données de simulation sont en cours de création et des acquisitions réelles sont prévues
sur piste d’essai.
–
This research is part of the ANR ANNAPOLIS project (https://project.inria.fr/annapolis/), coordinated
by INRIA. The ANNAPOLIS project aims to detect and identify electric personal mobility devices
(PMDs) in urban environments, in order to predict their trajectory and ensure driving safety. Video and
LiDAR data are extracted from the vehicle and RSU viewpoints (road side unit), with V2X fusion
(vehicle to infrastructure). The postdoc will work in close collaboration with a PhD student focusing
on the generation of hybrid maps augmented by V2X fusion (using V2VNet-type networks [1]). In
addition to the use of existing datasets, simulation data are being created and real acquisitions are
planned.

Postdoc goals (in French and English) :
La tâche du postdoc sera de développer des méthodes basées apprentissage pour identifier précisément
les différents types de AMP possibles (trottinette, gyropode, monocycle, hoverboard…) en plus du
vélo. Il pourra exploiter les informations contextuelles des cartes augmentées fournies par le doctorant.
Les difficultés seront de lever les ambiguïtés de classification entre classes et avec les piétons, et de réidentifier et suivre les agents entre les points de vue véhicule et RSU (propager les détections). Pour ce
travail, nous pourrons par exemple explorer l’usage de classes hiérarchiques avec confiances [2], de
mécanismes de gestion de classes nouvelles OOD (out of distribution) [3], de détection de la pose des
humains dans la scène [4], couplée à l’estimation de relation humain/objet [5] ou de l’identification par
analyse de la démarche [6, 7], de suivi d’objets entre plusieurs vues [8], de suivi d’objets à l’échelle
métrique [9].
–
The postdoc's task will be to develop learning-based methods to accurately identify the different types
of possible PMDs (scooter, gyropod, unicycle, hoverboard...) in addition to the bicycle. He will have
access to the contextual information from augmented maps supplied by the PhD student. The
challenges will be to remove classification ambiguities between classes and with pedestrians, and to
re-identify and track agents between the vehicle and RSU viewpoints (propagating detections). For this
work, we could, for example, explore the use of hierarchical classes with confidence [2], new OOD
(out of distribution) class management mechanisms [3], human pose detection in the scene [4],
coupled with human/object relationship estimation [5] or identification by gait analysis [6, 7], object
tracking between several views [8], object tracking on a metric scale [9].

Profile (in French and English) :
- jeune docteur en vision par ordinateur ou sujet similaire
- apprentissage machine et deep learning (CNN, GNN, Transformers…)
- perception caméra et/ou LiDAR 3D
- motivation
- curiosité, goût pour les idées nouvelles et la collaboration
- consciencieux et organisé
_
- PhD in computer vision or similar
- machine learning and deep learning (CNN, GNN, Transformers…)
- camera and/or 3D LiDAR perception
- motivation
- curiosity, taste for new ideas and for collaboration
- conscientious and organized

References :

[1] Wang, TH., Manivasagam, S., Liang, M., Yang, B., Zeng, W., Urtasun, R. (2020). V2VNet: Vehicleto-Vehicle Communication for Joint Perception and Prediction. ECCV 2020.

[2] La Grassa, R., Gallo, I. & Landro, N. Learn class hierarchy using convolutional neural networks. Appl Intell 51, 6622–6632 (2021).

[3] Qihao Liu, Adam Kortylewski, Alan L. Yuille; “PoseExaminer: Automated Testing of Out-of- Distribution Robustness in Human Pose and Shape Estimation”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 672-681

[4] S. Kreiss, L. Bertoni and A. Alahi, "OpenPifPaf: Composite Fields for Semantic Keypoint Detection and Spatio-Temporal Association," in IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 8, pp. 13498-13511, Aug. 2022

[5] Sanghyun Kim, Deunsol Jung, Minsu Cho; “Relational Context Learning for Human-Object Interaction Detection”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 2925-2934

[6] A. Sepas-Moghaddam and A. Etemad, "Deep Gait Recognition: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 1, pp. 264-284, 1 Jan. 2023, doi: 10.1109/TPAMI.2022.3151865.

[7] Jathushan Rajasegaran, Georgios Pavlakos, Angjoo Kanazawa, Christoph Feichtenhofer, Jitendra Malik; “On the Benefits of 3D Pose and Tracking for Human Action Recognition”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 640-649

[8] Yuqi Wang, Yuntao Chen, Zhaoxiang Zhang; “FrustumFormer: Adaptive Instance-Aware Resampling for Multi-View 3D Detection”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 5096-5105

[9] Y. Du et al., "StrongSORT: Make DeepSORT Great Again," in IEEE Transactions on Multimedia,doi: 10.1109/TMM.2023.3240881, 2023.