Avec le soutien du programme OIC, Nantes Université accueille depuis juin 2022 Alexandre Bruckert au sein du laboratoire LS2N. il travaille sur le projet « Quantifying and predicting personal visual experience in immersive environments ».
Cette recherche porte sur l’étude de l’expérience visuelle dans les environnements immersifs d’un point de vue idiosyncrasique, c’est-à-dire l’analyse des comportements individuels en contexte de réalité virtuelle. A l’heure d’une possible démocratisation de la réalité virtuelle (notamment grâce aux perspectives promises par les métavers), l’enjeu de cette étude est de fournir des données de compréhension pour l’amélioration de la qualité et de la personnalisation de l’expérience utilisateur en contexte immersif.
AAP Post-doctorats internationaux 2021
- LS2N (Nantes Université)
- Trinity College Dublin / V-SENSE
Objectif
L’étude s’appuie en premier lieu sur des données de suivi oculaire recueillies par V-SENSE. Sur la base de ces informations, des outils permettant de mesurer de manière quantitative l’expérience visuelle d’un observateur placé dans un environnement immersif seront mis au point. Ensuite, en utilisant les modèles d’attentions visuelles conçus à V-SENSE, ainsi que d’autres modèles issus de l’état de l’art, il conviendra de distinguer ceux qui ont un fort pouvoir de généralisation, et ceux qui peuvent le mieux simuler des individus particuliers, à la fois pour la saillance visuelle (c’est-à-dire le pouvoir d’attraction de l’attention) et pour générer des parcours oculaires.
De plus, bien que plusieurs jeux de données et benchmarks ont été proposés pour améliorer les performances desdits modèles, il apparaît que les métriques et méthodes d’évaluation actuelles ne sont pas bien adaptées pour gérer toute la variété des comportements visuels. L’étude entend ainsi également modifier et adapter les outils d’évaluation de performance des modèles à l’approche idiosyncratique.
Enfin, il s’agira aussi d’envisager des environnements immersifs où l’observateur n’est plus statique, mais peut se déplacer librement dans une scène virtuelle. Dans ce contexte, en plus du suivi de la tête et des yeux, d’autres modalités de suivi du corps pourraient être envisagées.
Calendrier
Durée de 13 mois, du 1er juin 2022 au 30 juin 2023
Perspectives
Une meilleure compréhension des comportements visuels individuels peut, par exemple, permettre d’optimiser les contenus à diffuser en contexte de réalité virtuelle et participer ainsi à améliorer leur qualité tout en réduisant les ressources nécessaires – et donc l’impact environnemental – des technologies immersives. Ceci peut être réalisé par exemple via un streaming de données 3D adapté, sujet abordé dans le projet ANR PISCo auquel le LS2N a contribué. Cependant, de nombreux verrous scientifiques restent encore à lever, notamment la prise en compte des facteurs individuels qui est le sujet de ce postdoc en collaboration avec Trinity College à Dublin.
Contacts
Alexandre Bruckert, post-doctorant au laboratoire LS2N de Nantes Université : alexandre.bruckert@univ-nantes.fr
Matthieu Perreira Da Silva, Maitre de conférences au laboratoire LS2N de Nantes Université : matthieu.perreiradasilva@univ-nantes.fr
