Gestes et mouvements

1. Capture de mouvements du corps

La capture de mouvement consiste à “capturer” les mouvements d’un sujet en trois dimensions et à les transformer en données numériques utilisables par un ordinateur pour de nombreuses applications. Ces technologies sont utilisées par exemple dans les films d’animation, les jeux vidéos, en médecine dans des laboratoires d’analyse du mouvement, ou encore pour de nombreuses applications dans les domaines artistiques. Le CLICK’ dispose de différents équipements de capture de mouvement, allant de technologies extrêmement précises et coûteuses à des solutions beaucoup moins chères, ainsi que de compétences pointues dans ce domaine permettant d’évaluer la meilleure solution en fonction des problèmes envisagés.

2. Analyse de mouvements (expertise, style)

Grâce aux technologies actuelles, il est possible de capturer et d’analyser les mouvements de manière quantitative, par rapport à l’approche qualitative habituellement privilégiée dans les disciplines liées au mouvement: éducation, arts performatifs, sport, médecine, artisanat, etc. Le mouvement est une modalité complexe et est influencé par de nombreux facteurs: morphologie, caractéristiques physiques, état émotionnel du sujet, âge, nombre d’années de pratique dans une discipline particulière, contraintes extérieures, présence (ou non) d’une pathologie donnée, etc.

Exemple: Evaluation de l’expertise d’étudiants en Taichiquan à travers une base de donnée de capture de mouvements d’un ensemble d’étudiants de différents niveaux et de professeurs et une analyse automatique basée sur le machine learning, avec feedback visuel pour l’amélioration de la prestation.

5. Analyse d'interactions sociales

La proxémie permet d’analyser les relations spatiales qu’entretiennent les individus entre eux. Sur base de la position des individus dans un environnement, il est possible de décrire les distances interpersonnelles et de lier cela à la théorie de la proxémie de Hall.

Exemple: Analyse du comportement non-verbal des utilisateursans cette expérience, un système de reconnaissance et de suivi des corps des utilisateurs basé sur les données d’un capteur Kinect est utilisé pour déterminer les distances interpersonnelles et les différents gestes des utilisateurs. Les données récoltées lors de l’expérience peuvent ensuite servir à l’étude d’interactions sociales simples.

3. Synthèse et adaptation de mouvements

Que cela soit dans le domaine vidéoludique ou cinématographique, la capture de mouvement est largement utilisée pour réaliser des séquences mettant en scène des personnage virtuels. Si ce processus est désormais maîtrisé, les coûts du matériel d’enregistrement ainsi que la charge de travail nécessaire limitent son utilisation. En plus du travail de l’acteur, il est en effet nécessaire d’adapter les données à la morphologie et à l’environnement du personnage.

Les technologies de l’intelligence artificielle proposent des algorithmes de synthèse qui exploitent l’information contenue dans des banques de données. Ces modèles utilisés dans le domaine de l’animation visent à générer automatiquement des séquences de mouvements originaux adaptables à l’avatar et au contexte de la scène en se basant sur des librairies de gestes enregistrés.

Exemple : Dans le projet CAPTURE, nous nous concentrons sur l’animation de personnage de style toon. Nous étudions la capacité de différentes familles d’algorithmes pour modifier des données de mouvement selon différents critères comme la morphologie ou la personnalité qui transparait de l’avatar.

4. Reconnaissance de gestes

A partir de données obtenues par une méthode de capture de mouvement (écran tactile, caméra, système de capture basé sur des marqueurs…), nous pouvons identifier si un geste particulier a été réalisé. Ce geste doit être soit préalablement enregistré (parfois à de nombreuses reprises), soit clairement décrit. Plusieurs gestes peuvent être intégrés simultanément au système de reconnaissance.

Grâce aux récents développements du domaine de l’intelligence artificielle, notamment les réseaux de neurones profonds (deep learning), la reconnaissance de gestes a connu un grand développement. Plusieurs modèles peuvent être utilisés et fonctionnent sur des images prises par de simples webcams.

Exemple: FUBI (Full Body Interaction Framework)
FUBI est un logiciel exploitant les données du capteur Microsoft Kinect pour reconnaître des postures ou des gestes réalisés par un utilisateur. Ces gestes sont préalablement décrits dans un fichier de configuration.