France Job Openings

Laboratoire d'Informatique l'Université du Mans, IUT de Laval

Éditeur de retours pédagogiques en réalité augmentée pour l’apprentissage de gestes techniques

Laval

FULL TIME

October 26, 2024

Éditeur de retours pédagogiques en réalité augmentée pour l’apprentissage de gestes techniques
Réf ABG-126498
Stage master 2 / Ingénieur
Durée 6 mois
Salaire net mensuel montant légal en vigueur

26/10/2024

Laboratoire d'Informatique l'Université du Mans, IUT de Laval
Lieu de travail
Laval Pays de la Loire France
Champs scientifiques
  • Informatique
  • Informatique
Mots clés
Réalité augmentée, apprentissage de gestes, Unreal Engine, simulation
Date limite de candidature
20/12/2024
Établissement recruteur
Site web :
https://lium.univ-lemans.fr/
Le Laboratoire d’Informatique de l’Université du Mans (LIUM) a été créé il y a environ 30 ans. Il comprend la grande majorité des enseignants-chercheurs en informatique de l'Université du Mans et est localisé sur deux sites : le site du Mans dans le bâtiment IC2, et le site de Laval dans les bâtiments de l’IUT. Depuis sa création, les thèmes de recherche majeurs du LIUM sont l’Ingénierie des Environnements Informatiques pour l’Apprentissage Humain (IEIAH) et le traitement automatique de la langue (LST).
Description
Modalités : Stage gratifié d’une durée de 6 mois basé au CERIUM² à Laval, dont les travaux pourront être poursuivis en thèse de doctorat

Résumé :
L’objectif de ce stage est de développer des modèles et outils permettant d’assister un utilisateur dans l’apprentissage d’un geste technique (e.g. service au tennis, geste de peinture, geste de fraisage d’une dent, etc.) en réalité augmentée immersive. En particulier il est attendu la création d’un éditeur de retours pédagogiques permettant à l’enseignant de définir
  • quand (i.e. en temps réel ? Avant ou après des étapes clés du geste ? Etc.) le retour pédagogique doit avoir lieu
  • où le retour pédagogique doit être placé dans l’environnement augmenté (attaché au sol, à une partie du corps, à un objet réel, etc.)
  • quelle forme le retour pédagogique visuelle doit prendre (i.e. texte 3D affichant la vitesse du mouvement, un avatar 3D montrant le geste, une trajectoire d’un objet à lancer, la couleur d’un objet à prendre, etc.)
Missions :
  • Veille technologique sur les différents matériels permettant la réalisation d’applications de réalité augmentée immersive (casques de réalité mixte)
  • Étude des possibilités fonctionnelles des outils logiciels et SDK dédiés à la réalité augmentée par implémentation de preuves de concept
  • Recherche bibliographique sur les modèles et outils permettant de créer et éditer des environnements de réalité augmentée
  • Développement et test d’une première version fonctionnelle de l’éditeur de retours pédagogiques en réalité augmentée immersive

Descriptif:

La réalité augmentée permet de créer des univers crédibles où des images 3D virtuelles se superposent aux images réelles avec de nouvelles possibilités d’interaction en temps réel[1][2]. Cette technologie est particulièrement utilisée à des fins éducatives pour, par exemple, manipuler des objets tangibles animés pour apprendre les mathématiques [Touel et al. 2023], observer et interagir avec des molécules de chimie [Cortés et al. 2021], assister l’apprenant dans un processus d’assemblage industriel [Raj et al. 2024].
L’apprentissage d’un geste technique (service au tennis, geste de peinture, geste de fraisage d’une dent, etc.) représente un défi pédagogique, car cette tâche complexe peut être vue comme l’apprentissage d’une séquence ordonnée d’actions, un ensemble de postures du corps à imiter et/ou des contraintes géométriques, cinématiques ou dynamiques du mouvement à respecter [Djadja et al. 2020].
Dans ce contexte, les dispositifs matériels d’interaction innovante (casques de réalité mixtes, caméras de profondeurs, combinaisons d’IMUs, etc.), permettent de capturer et analyser les mouvements des apprenants en temps réel afin d’évaluer leurs performances et les assister dans cet apprentissage [Hefied et al. 2024]. Ces dispositifs sont actuellement utilisés dans des environnements virtuels immersifs délivrant des aides visuelles en temps réel (e.g. avatar 3D montrant le geste, flèche indiquant la direction, couleur identifiant l’objet à prendre, etc.), lors de l’exécution des mouvements par l’apprenant [Djadja et al. 2020].
Cependant, ces environnements virtuels immersifs coupent l’apprenant de la situation réelle ce qui pose des questions de transferts de compétences. En outre, ces environnements numériques sont souvent dédiés à l’apprentissage d’un seul geste technique selon une stratégie pédagogique prédéfinie et figée.
Les travaux de la littérature, nous montre qu’il existe de nombreux modèles et approches permettant à l’enseignant d’éditer voire, de définir des Environnements Informatiques pour l’Apprentissage Humain (EIAH) au travers, par exemple d’environnements virtuels dont le scénario pédagogique est définissable [Oubahssi et al. 2024], ou des environnements auteurs de réalité augmentée [Ez-Zaouia et al. 2023]. Cependant, ces outils et modèles sont peu appliqués dans le contexte de l’apprentissage d’un geste technique.
Ainsi, un éditeur de retours pédagogiques en réalité augmentée immersive apparait comme une solution prometteuse pour apprendre un geste technique et assurer le transfert de compétences, par la conception, l'implémentation et l'usage d'environnements au plus proche du réel et adapté à la stratégie pédagogique de l’enseignant.

Bibliographie :
  • [Cortés et al. 2021] Rodríguez, F.C., Frattini, G., Krapp, L.F., Martinez-Hung, H., Moreno, D.M., Roldán, M., Salomón, J., Stemkoski, L., Traeger, S., Dal Peraro, M. and Abriata, L.A. Molecul ARweb: A Web Site for Chemistry and Structural Biology Education through Interactive Augmented Reality out of the Box in Commodity Devices. Journal of Chemical Education, 98 (7), 2243-2255, 2021.
  • [Djadja et al. 2020] Djadja, D. J. D., Hamon, L., and George, S. Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, GRAPP, 2020.
  • [Djadja et al. 2023] Djadja, D. J. D., Hamon, L., and George, S. A 3D Descriptive Model for Designing Multimodal Feedbacks in any Virtual Environment for Gesture Learning. In Proceedings of the 18th International Conference on Software Technologies, 84-95, 2023.
  • [Ez-Zaouia et al. 2023] Ez-Zaouia, M., Marfisi-Schottman, I. and Mercier, C. Authoring Tools: The Road To Democratizing Augmented Reality For Education. Proceedings of the 15th International Conference on Computer Supported Education, 115-127, 2023.
  • [Hefied et al. 2024] Hefied, M. N., Hamon, L., George, S., Loison, V., Pirolli, F., Lopez, S., and Crétin-Pirolli, R. A Pipeline for the Automatic Evaluation of Dental Surgery Gestures in Preclinical Training from Captured Motions. In CSEDU, 420-427, 2024.
  • [Larboulette and Gibet 2015] Larboulette, C. and Gibet, S. A review of computable expressive descriptors of human motion. In Proceedings of the 2nd International Workshop on Movement and Computing, 21-28, 2015.
  • [Oubahssi et al. 2024] Oubahssi L., Piau-Toffolon C., Mahdi O. VR-Peas: a Virtual Reality PEd Agogical Scenarisation tool, Interactive Learning Environments, 1–18, 2024.
  • [Raj et al. 2024] Raj, S., Murthy, L.R.D., Shanmugam, T.A., Kumar, G., Chakrabarti, A. and Pradipta Biswas, P. Augmented reality and deep learning based system for assisting assembly process. Journal of Multimodal User Interfaces, 18, 119-133, 2024.
  • [Touel et al. 2023] Touel, S., Marfisi-Schottman, I., George, S., Hattab, L. et Pelay, N. Le Chaudron Magique : un jeu en Réalité Mixte pour l'apprentissage des fractions en autonomie. Environnement Informatique pour l'Apprentissage Humain (EIAH), Jun 2023, Brest, France. pp.121-132.

[1] https://www.fitness-gaming.com/news/fitness-and-sports/arx-turns-exercise-into-an-augmented-reality-video-game.html
[2] https://www.vive.com/fr/product/vive-xr-elite/overview/
Profil
Actuellement en master 2 ou en troisième année d’une école d’ingénieur le/la candidat(e) doit :
  • Avoir des compétences en programmation C++, et si possible en python
  • Connaître l’Unreal Engine ou un moteur équivalent tel que Unity
  • Travailler avec méthode et rigueur.
  • Avoir des qualités d’organisation, qualités relationnelles, écoute et disponibilité.
Prise de fonction
Dès que possible

New Job Alerts
Liebherr-Mining Equipment Colmar SAS

Comptable (h/f)

Colmar

FULL TIME

November 19, 2024

View Job Description
Mediaco

Chauffeur de Camion Bras avec Permis SPL

Bergheim

FULL TIME

November 19, 2024

View Job Description
CEA

Postdoc in Fuel cells instrumentation H/F

Grenoble

November 19, 2024

View Job Description
Botanic

CONSEILLER DE VENTE EXPÉRIMENTÉ H/F - OUTILLAGE, DÉCORATION EXTÉRIEURE, PRODUITS PHYTOSANITAIRES

Écully

FULL TIME

November 19, 2024

View Job Description
EPNAK

REFERENT DE FORMATION ACCOMPAGNEE (DFA) - H/F

Bordeaux

FULL TIME

November 19, 2024

View Job Description
VENDOM COMPANY

Stagiaire Juriste Droit Social (h/f)

Marseille

November 19, 2024

View Job Description
Looking for similar job?
Ciril GROUP

Ingénieur d'affaires Editeur Logiciels F/H

Rennes

FULL TIME

October 7, 2024

View Job Description
Hachette Livre

Editeur.ice de réalisation H/F

Malakoff

October 11, 2024

View Job Description
Forum Emploi-Formation-Alternance: Talents Handicap

Stage – Ingénieur études et développement – Intégrateur/Éditeur de solutions bancaires - SBS - Annecy

Annecy

October 14, 2024

View Job Description
Groupe Amaury

Représentant(e) éditeur en imprimerie

Boulogne-Billancourt

October 16, 2024

View Job Description
Hachette Livre

EDITEUR / EDITRICE H/F

Vanves

October 23, 2024

View Job Description
Hachette Livre

Editeur.trice parascolaire secondaire H/F

Paris

October 23, 2024

View Job Description
New Job Alerts
Liebherr-Mining Equipment Colmar SAS

Comptable (h/f)

Colmar

FULL TIME

November 19, 2024

View Job Description
Mediaco

Chauffeur de Camion Bras avec Permis SPL

Bergheim

FULL TIME

November 19, 2024

View Job Description
CEA

Postdoc in Fuel cells instrumentation H/F

Grenoble

November 19, 2024

View Job Description
Botanic

CONSEILLER DE VENTE EXPÉRIMENTÉ H/F - OUTILLAGE, DÉCORATION EXTÉRIEURE, PRODUITS PHYTOSANITAIRES

Écully

FULL TIME

November 19, 2024

View Job Description
EPNAK

REFERENT DE FORMATION ACCOMPAGNEE (DFA) - H/F

Bordeaux

FULL TIME

November 19, 2024

View Job Description
VENDOM COMPANY

Stagiaire Juriste Droit Social (h/f)

Marseille

November 19, 2024

View Job Description