Services
— Motion Capture — Développement 3D — R&D
Projets Santé Projets Sport Projets Audiovisuel Contact

SignToKids :
Apprendre la langue des signes autrement

Nouvelle génération d’outils interactifs pour faciliter l’apprentissage de la LSF chez les enfants sourds, en combinant avatars 3D, intelligence artificielle et pédagogie visuelle..

Catalogue gestuel 3D interactif multiplateforme tablette PC mobile XR
📚 Catalogue 3D
SignToKids

SignToKids
in a nutshell

SignToKids project aims to facilitate the coordinated learning of LSF and written French for deaf children. The objective is to create digital assistance tools (web applications, serious games, videobooks) that enable the interactive manipulation of language concepts in the form of textual or visual representations (images or animations of 3D signing avatars). This project also aims to advance research on machine translation assistance from written French to LSF and vice versa...

lien IRISA →
1. Tests

Tests des technologies et pipelines pour l'animation 3D

Compte tenu des technologies existantes et la durée du corpus (>120minutes), plusieurs combinaisons technologiques d'acquisition / pipeline de synthèse ont été testé.

Enregistrement gestes badminton
Tests mains et facial

Clément Réverdy teste différentes combinaisons technologiques

Post-processing
Tests mains et facial

Clément Réverdy teste différentes combinaisons technologiques

▶ vidéo
Facial Unreal

Tests facial (Faceshift, Unreal, Unity3D, Blender)

▶ vidéo
Pipeline Unity3D/ avatar IClone

Tests Optitrack/Manus -> Retargetting MotionUp -> avatar IClone -> Unity3D

▶ vidéo
Pipeline avatar Unreal

Tests Optitrack/Manus -> Retargetting MotionUp -> Unreal

▶ vidéo
R&D

Reconstruction animatoin squelette mains

▶ vidéo
Pipeline avatar Unreal

Tests Optitrack/Manus -> Unreal

2. R&D : automatisation et qualité

Reconstruction & Synthèse 3D

La qualité des gants Manus étant trop faible, nous avons optés pour un enregistrement 100% optique. Plusieurs axes R&D ont été mené :

01

Post-processing

Différents algorithmes ont été développé pour assister et automatiser la labélisation, reconstruction des trajectoires manquantes

02

Contrôle du squelette

Les outils de retargeting existants sont trop limités (pertes de qualité notamment sur les doigts). Nous avons développer notre propre pipe d'animation 3D.

03

Animation de la peau des doigts

Pour une préservation du volume, nous avons développé un système de controleur automatique du skining des doigts

3. Mocap

Enregistrement du
corpus

01

Problématique

Enregistrer jusqu'à 2h de mocap par jour en limitant l'intrusivité et fatigue du signeur

03

Mocap

Caméras : 18 caméras infra-rouges à 240Hz, 2 caméras RGB
Corps : 42 marqueurs
Facial : 2x Iphone 12 et 13
Mains : 50 marqueurs (25 par main)

Enregistrement gestes badminton
Enregistrement du dataset

Mocap Signeur

Post-processing
Enregistrement du dataset

Mocap Signeur

Post-processing
Enregistrement du dataset

Mocap Signeur

Enregistrement gestes badminton
Application Motion-Up

Vue du catalogue

Post-processing
Application Motion-Up

Scène 3D : vue paramétrable

Post-processing
Application Motion-Up

Scène 3D : vue paramétrable

Post-processing
Application Motion-Up

Scène 3D : vue paramétrable

4. Publication

Catalogue de Scènes 3D

01

Application

Catalogue et streaming des scènes hébergées sur un serveur web

02

Visualisation

Visualisation paramétrable de l'avatar (vêtements, environnement, vu progressive des données, sous-titres, activation des technologies de rendu)

03

Fonctionnalités

- Exports bvh/fbx

- Edition de la direction du regard

- Enregistrement vidéo

Partenaires du projet

Publications

icon

Conversation journal 2024

Apprendre la langue des signes grâce à l’IA générative et aux avatars en 3D.

icon

Workshop LREC–COLING 2024

On the Representation and Processing of Sign Languages: Evaluation of Sign Language Resources

Clément Reverdy, Sylvie Gibet and Thibaut Le Naour

icon

International Conference on Intelligent Virtual Agents 2025

Translating Sentences from Written French into LSF Annotation

Reverdy, Clément, Sylvie Gibet, and Pierre-François Marteau

Réalisations

Nos projets R&D

De la preuve de concept au déploiement produit — un aperçu de nos réalisations.

Contact

Un projet en tête ?
Parlons-en.

Consulting ponctuel, catalogue de gestes sur-mesure, R&D en motion capture ou jumeau numérique.