AGIR : Apprentissage des
gestes infirmiers

Le programme AGIR a permis de capturer des gestes médicaux complexes, comme la pose de voie veineuse périphérique (VVP), difficile à numériser en raison des interactions fines entre deux opérateurs et de l’espace de travail étendu.

Ces limites nous ont amené à développer une solution hybride combinant capture optique (corps et objets) et capteurs IMU (mains). Approche nécessitant un travail d'anticipation, de synchronisation et plusieurs phases de tests pour garantir la fiabilité des enregistrements malgré la diversité et la complexité des objets manipulés.

Le projet aboutit à un jeu de données riche comprenant environ 70 minutes d’enregistrements 3D et vidéo, soigneusement annotés et exploitables pour la recherche et la formation.

Caméras : 18 caméras infra-rouges à 240Hz, 3 caméras RGB
Corps : 42 marqueurs
Facial : 2x Iphone 12 et 13
Mains : Gants Manus

La phase de nettoyage est corrélée à la complexité (nombre de marqueurs et nature des gestes) : filtrage, fill gapping et labélisation a été nécessaire.

La phase de transfert, i.e., retargetting, a nécessité un développement singulier, notamment pour les mains avec les deux objectifs forts de (1) la préservation des configurations manuelles ; (2) la préservation spatiale entre matériel et mains.

Point critique. Faible qualité des enregistrements des gants Manus: morphologie des mains, dynamique des mouvements altérée, sauts dans l’animation. Ce point a donné lieu au développement d’une solution semi-automatisée d’édition singulière non prévue à la genèse du programme.

Design, modélisation et texturing du matériel utilisé par l'IFPS/GHBA à l'identique.

Un des enjeux du programme était d’associer :
(1) le réel vis-à-vis des retours tactiles liés à l’apprentissage des compétences techniques avec
(2) le virtuel vis-à-vis de l’outil numérique d’apprentissage, immersion et l’apprentissage des compétences procédurales.
Ces deux compétences sont indissociables par les experts pédagogiques rendant la solution innovante et inédite.

Deux version VR et XR ont été conçues.

Plusieurs solutions d’interaction singulières aux situations ont été conçue, développées et testées sur 10 à 20 personnes jusqu’à intéractions intuitives.