SignToKids :
Apprendre la langue des signes autrement

Nouvelle génération d’outils interactifs pour faciliter l’apprentissage de la LSF chez les enfants sourds, en combinant avatars 3D, intelligence artificielle et pédagogie visuelle..

Catalogue gestuel 3D interactif multiplateforme tablette PC mobile XR

📚 Catalogue 3D

SignToKids

SignToKids
in a nutshell

SignToKids project aims to facilitate the coordinated learning of LSF and written French for deaf children. The objective is to create digital assistance tools (web applications, serious games, videobooks) that enable the interactive manipulation of language concepts in the form of textual or visual representations (images or animations of 3D signing avatars). This project also aims to advance research on machine translation assistance from written French to LSF and vice versa...

lien IRISA →

1. Mocap

Enregistrement du
corpus

65 minutes d'enregistrement et beaucoup de R&D !

Problématique

Automatiser la reconstruction 3D multi-modale des gestes

R&D

Plusieurs solutions ont été testées : utilisation hybride de gants + marqueurs
5 jeux de marqueurs testés
3 acteurs testés

Mocap

Caméras : 18 caméras infra-rouges à 240Hz, 2 caméras RGB
Corps : 42 marqueurs
Facial : FaceShift (3DPro)
Mains : 40 marqueurs (20 par main)

Jumeau numérique patient simulation 3D rééducation santé numérique

Enregistrements

📚 Catalogue 3D

2. Modélisation

Design et conception de l' avatar

Opéré par Hervé Gaerthner, les étapes consistent au design, modélisation, texturing, rigging et skinning. Conception innovante et spécifique aux directives R&D.

Partenaires du projet