Le CLICK’ Living Lab

Créé dans le cadre du portefeuille de projets FEDER DIGISTORM (conf. projet Digilabs), le CLICK’ est le Living Lab wallon dédié aux technologies et aux industries créatives. Au cœur de l’écosystème créatif wallon et bénéficiant de l’expertise de l’Institut NUMEDIART (UMONS), du CETIC et de Multitel, le CLICK’ est un partenaire de choix pour les porteurs de projets (industriels, startups et artistes) souhaitant développer des produits et/ou services innovants.

Pour cela, le CLICK’ propose une série de services qui ont pour objectifs de fournir un accompagnement dans la réalisation de prétotypes solides et/ou dans une démonstration de faisabilité technologique des projets suivis.

En tant que Living Lab, le travail du CLICK’ s’articule autour de deux grands principes : un travail en co-création avec un réseau d’experts technologiques et non technologiques ainsi que la recherche d’adéquation avec les attentes du public visé (User Experience)

L’expertise technique

Le CLICK’ propose des expertises techniques innovantes et multiples offrant ainsi une une vision 360° des nouvelles technologies. Un plus indéniable dans un monde en perpétuel mouvement !

Détail des compétences CLICK’

A. Gestes et mouvements

1. Capture de mouvement et synthèse de données adaptées à l’animation de personnage virtuel

Que cela soit dans le domaine vidéoludique ou cinématographique, la capture de mouvement est largement utilisée pour réaliser des séquences mettant en scène des personnage virtuels. Si ce processus est désormais maitrisé, les coûts du matériel d’enregistrement ainsi que la charge de travail nécessaire limitent son utilisation. En plus du travail de l’acteur, il est en effet nécessaire d’adapter les données à la morphologie et à l’environnement du personnage.

Les technologies de l’intelligence artificielle proposent des algorithmes de synthèse qui exploitent l’information contenue dans des banques de données. Ces modèles utilisés dans le domaine de l’animation visent à générer automatiquement des séquences de mouvements originaux adaptables à l’avatar et au contexte de la scène en se basant sur des librairies de gestes enregistrés.

Exemple : le projet CAPTURE

Dans le projet CAPTURE, nous nous concentrons sur l’animation de personnage de style toon. Nous étudions la capacité de différentes familles d’algorithmes pour modifier des données de mouvement selon différents critères comme la morphologie ou la personnalité qui transparait de l’avatar.

2. Analyse de mouvements et feedback explicite

Détails à venir

3. Capture de mouvement et interface homme-machine

Ces dernières années, l’industrie du jeu vidéo a développé plusieurs systèmes instrumentaux permettant la capture de geste en 3 dimensions. Que cela soit avec le développement de caméras de profondeur comme la Kinect, ou de manettes de jeu pourvues de capteur de mouvement comme la Wiimote, nous disposons actuellement de solutions fiables de contrôle. Il est désormais possible de proposer à des utilisateurs des systèmes d’interaction naturelbasés sur ces outils ou sur la fusion de plusieurs d’entre eux.

Exemple : le projet Virtualtraces

Des contrôleurs permettant l’acquisition de mouvement en 3 dimensions sont adéquats pour manipuler du contenu dans des espaces virtuels. Le projet VirtualTraces réalisé en collaboration avec le chorégraphe Thierry De Mey, a mis en œuvre un système de visualisation en réalité virtuelle de séquences de danse enregistrées.  L’utilisateur dispose de deux contrôleurs pour manipuler et explorer la scène de manière intuitive.

4. Synthèse et adaptation de mouvements

Détails à venir

5. Reconnaissance de gestes

A partir de données obtenues par une méthode de capture de mouvement (écran tactile, caméra, système de capture basé sur des marqueurs…), nous pouvons identifier si un geste particulier a été réalisé. Ce geste doit être soit préalablement enregistré (parfois à de nombreuses reprises), soit clairement décrit. Plusieurs gestes peuvent être intégrés simultanément au système de reconnaissance.

Grâce aux récents développements du domaine de l’intelligence artificielle, notamment les réseaux de neurones profonds (deep learning), la reconnaissance de gestes a connu un grand développement. Plusieurs modèles peuvent être utilisés et fonctionnent sur des images prises par de simples webcams. 

Exemple: FUBI (Full Body Interaction Framework)

FUBI est un logiciel exploitant les données du capteur Microsoft Kinect pour reconnaître des postures ou des gestes réalisés par un utilisateur. Ces gestes sont préalablement décrits dans un fichier de configuration.

6. Prototypage d’interfaces gestuelles

Une interface gestuelle est une application dont le comportement est contrôlé par un système de reconnaissance de gestes. Le prototypage vise à trouver une relation cohérente entre le geste, définit par rapport à un capteur, défini par rapport à un capteur (balayage sur un écran tactile, entrée de l’utilisateur dans une zone définie, claquement de doigts, etc.) et son effet sur l’application.

Exemple : Fragments #43/44 (Gauthier Keyaerts)

 Fragments #43-44 est un instrument de création musicale et visuelle permettant de travailler au cœur d’une collection de sons de manière littéralement physique – avec son corps – mais sans le moindre contact direct avec des capteurs ou une lutherie physique. L’usager prend place face à une caméra qui va repérer ses déplacements et gestes, et les traduire en effets sur le son et l’image.

7. Analyse des interactions sociales

La proxémie permet d’analyser les relations spatiales qu’entretiennent les individus entre eux. Sur base de la position des individus dans un environnement, il est possible de décrire les distances interpersonnelles et de lier cela à la théorie de la proxémie de Hall.

Exemple: Analyse du comportement non-verbal des utilisateursans cette expérience, un système de reconnaissance et de suivi des corps des utilisateurs basé sur les données d’un capteur Kinect est utilisé pour déterminer les distances interpersonnelles et les différents gestes des utilisateurs. Les données récoltées lors de l’expérience peuvent ensuite servir à l’étude d’interactions sociales simples.

B. Images, croquis

1.  Identification, étiquetage et classement (spécifiquement recherche rapide)

Détails à venir

2. Recherche d’images par similarité ou par croquis

 

Détails à venir

3. Génération de carte de profondeur sur une image

En vision par ordinateur, la structure 3D d’une scène s’avère être une information précieuse pour de nombreuses tâches. Par exemple, elle permet à un robot de calculer son déplacement et d’interagir avec son environnement. La 3D est généralement acquise grâce à des capteurs spécifiques tels qu’une caméra de profondeur. Récemment, profitant du développement du deep learning et de l’abondance de datasets, de nouvelles méthodes ont été proposées pour estimer la profondeur d’une scène à partir d’une image 2D capturée par une caméra standard. Ces méthodes sont implémentées à l’aide d’outils d’apprentissages automatiques comme TensorFlow ou encore Keras.

C. Regard 

1. Capture du regard  basée sur l’orientation de la tête

La perception visuelle est mécaniquement lié aux mouvements de la tête. Plus l’angle de vue est grand (proche d’un grand écran), plus la corrélation entre mouvement de la tête et des yeux est importante. Il est donc possible d’estimer la direction du regard à partir de la direction de la tête. Cette dernière peut être donnée par un algorithme de suivi de visage spécialement entraîné.

 Exemple : Reg’art

 Reg’Art est une installation interactive de suivi du regard du visiteur pendant les vingt premières secondes de découverte d’une œuvre picturale de Gérard Garouste. Le visiteur peut ainsi se rendre compte de son parcours visuel du tableau.

2. Analyse de l’attention visuelle (images, vidéos, vidéos 360, modèles 3D)

La mesure de l’attention (regarder un objet, une TV, un tableau) peut être exprimée en fonction de la durée du regard. Cela signifie que sur base de la durée passée à regarder un élément, il est possible de déduire la quantité d’intérêt porté à celui-ci.

 

Exemple : Linkedtv : Mesure de l’intérêt porté à un programme télévisuel

 Dans cette expérience, les participants devaient suivre un journal télévisé et répondre à un questionnaire sur les informations diffusées tout en résolvant des puzzles sur une tablette. Le système de suivi automatique du regard nous a permis d’identifier de façon automatique les périodes pendant lesquelles les participants regardent le journal et celles pendant lesquelles ils avancent sur le puzzle.

3.  Attention conjointe

Dans le cas où nous possédons un suivi du regard (ou de l’orientation de la tête) , il est possible de savoir si des utilisateurs se regardent entre eux (attention mutuelle), ou s’ils regardent la même chose. (« joint attention » ou d’attention conjointe). Lorsqu’un individu induit le regard d’un autre vers une direction, on parle d’attention induite. Cela peut illustrer un intérêt commun porté sur quelque chose par un groupe d’individus.Ces analyses sont réalisées sur les données issues des système de suivi de regard.

Exemple : Analyse du comportement non-verbal des utilisateurs

D. Parole et chant

1. Analyse de chant

Détails à venir

   2. Reconnaissance vocale, y compris parole bruitée

Détails à venir

3. Reconnaissance des expressions et émotions en parole

Détails à venir

E. Langage

1. Traduction automatique

Détails à venir

2.  Génération automatique de texte

A partir d’un corpus de textes fourni au préalable, la machine apprend comment générer du texte. Elle étudie la syntaxe, la grammaire et le style du ou des auteur(s) qui lui ont été donnés. Lorsque l’entrainement est terminé, elle devient alors capable d’imiter l’auteur et de produire des morceaux de texte qui ressemblent à son écriture. Cependant, tout le secret réside dans un juste équilibre entre deux extrêmes : si l’algorithme est surentraîné, il tend à réaliser un plagiat ; s’il ne l’est pas assez, il produit une écriture absurde et sans signification.

Cas d’utilisation :

Les utilisations peuvent être diverses et nombreuses bien qu’elles se rapprochent toutes de l’essai artistique. Pourquoi pas tenter d’inventer la suite d’une série ou de livres que vous avez adoré ? Ou tenter d’entrer en dialogue avec ce discours maladroit d’une machine ? C’est aussi l’occasion de s’en servir comme une première base de travail pour un texte, un discours, une écriture retravaillée ensuite par un humain.

F. Sons, musique

1. Traitements sonores

Détails à venir

 

       2.  Interactions geste-sons en temps réel

        Détails à venir

G. Espaces 3D intelligents

1. Géolocalisation indoor

La localisation d’une personne ou d’un objet à l’intérieur d’un espace intérieur (et donc hors de portée d’un GPS) peut se faire de multiples façons, avec des précisions et contraintes variables. Par ondes radio (type UWB ou Wifi), les espaces couverts peuvent être de taille importante, mais la précision est de l’ordre du mètre. Par rayons infrarouges (comme ceux utilisés par les capteurs HTC Vive ou  les caméras 3D, par exemple) , la portée est plus réduite (50m²) mais la précision peut etre nettement meilleure. Par exemple, nous utilisons cette technologie dans un projet de localisation de personnes dans un espace muséal, pour que le sons diffusé soient en lien avec leur position.

 

      2.  Analyse et compréhension active de scènes complexes

      Détails à venir

3. Capteurs embarqués connectés

Dans le cadre de plusieurs projets développés par le CLICK’ nous avons mis en place une solution souple pour embarquer des capteurs sur des modules sans fils. Les grandeurs mesurées sont très diverses (bouton poussoir, flexion, humidité, champs magnétique, volume sonore,..). La communication entre capteurs ou avec un logiciel principal fonctionnant sur un ordinateur se fait suivant le protocole OSC.

 Exemple : Hovertone – Jeu “Business Model Canvas”

 Ce jeu de plateau géant a été développé par Hovertone et proposé lors de la semaine de la créativité 2017. Des accéléromètres embarqués dans chacun des cubes communiquent leur orientation au logiciel principal sur l’ordinateur via une connexion Wifi. Le résultat : une version originale et ludique du “Business Model Canevas”

 

4.  Réalité augmentée

L’expression “réalité augmentée” désigne la superposition d’éléments multimédia (son, image, objet 3D, …) à un élément physique. Les champs d’application sont variés, allant de l’inclusion en temps réel d’un modèle 3D au flux vidéo filmé avec un smartphone, au mapping monumental, en passant par les interactions possible entre personnes évoluant dans un environnement virtuel et personnes évoluant dans le monde réel.  

 Exemple : GiantPlay

 GiantPlay est un jeu vidéo monumental qui repose sur l’installation Citylight. Il a été développé en collaboration avec le studio Drag On Slide en 2015. Les joueurs (1 à 3) sont face à une Kinect placée devant la façade du bâtiment et doivent bouger leurs mains pour empêcher des dragons d’attaquer la ville. Chaque dragon arrêté à temps augmente le score de l’équipe. 

H. Visage

1. Reconnaissance d’expressions (émotions) en temps réel 

La reconnaissance d’expressions permet à un ordinateur d’identifier les expressions faciales d’un visage humain. Cette analyse se base sur les mouvements de points particuliers du visage. La détection de ces points peut se faire avec ou sans marqueurs.

Avec Marqueurs

Le suivi avec marqueurs est le plus robuste. Pour cela nous utilisons l’optitrack (conf. photo), un système composé de plusieurs caméras et d’un logiciel principal qui détermine la position des marqueurs plusieurs dizaines de fois par seconde.

Sans marqueurs

Sur base d’outils de suivi du visage en temps réel (Facetracker, kinect V1, kinect V2, etc.) Il est possible de suivre un certain nombre de points caractéristiques du visage. Ce genre de suivi est moins invasif mais aussi moins robuste par rapport au suivi avec marqueurs.

2.  Reconnaissance d’expressions

Sur base du suivi de ces points caractéristiques, il est possible de reconnaitre certaines expressions de base à l’aide des descripteurs de mouvement du visage (FACS). La fiabilité du système est fortement dépendante de la qualité du suivi du visage mais aussi de l’amplitude de l’expression elle-même.

3. Reconnaissance faciale

Un système de reconnaissance faciale est une application visant à reconnaître une personne grâce à son visage de manière automatique. Ces systèmes nécessitent d’avoir au préalable enregistré un ensemble de donnée de visages liés au nom de leurs propriétaires. La reconnaissance faciale peut se faire avec des méthodes traditionnelles (eigenface, fisherface, lbph, etc.), ou avec des méthodes basées sur le Deep Learning (facenet).

Exemple d’application :

Linkedtv : reconnaissance faciale pour le profilage d’utilisateurs

 

 

Les services

  • Comment faire évoluer mon concept ?
  • Mon produit est-il en phase avec les attentes de mes utilisateurs ?
  • Comment faire pour les impliquer dès les premières phases de conception ?

Autant de questions qui interviennent dans le processus de création d’un bien ou d’un service…

Le CLICK’ se concentre sur chacune de ces questions. Il intervient aussi dans la vérification des choix des porteurs de projet auprès de leurs utilisateurs potentiels. Pour cela, il propose différents types de services teintés de co-création. Les dernières étapes étant la mise en place d’une preuve de faisabilité technologique ou d’un prétotype ainsi que des tests de ce dernier en situation réelle.

 

Les ateliers d’exploration

Dans le cas de projets impliquant l’utilisation des nouvelles technologies, Le CLICK’ propose son expertise en animation de groupes via ses ateliers d’exploration. L’idée est ici d’aider le porteur de projet à affiner son idée (affiner le concept, imaginer des application originales etc).

Les ateliers d’exploration technologique

Via ses ateliers d’exploration technologique, le CLICK’ propose d’offrir un aperçu rapide des technologies existantes liées à un projet, de comprendre les différentes orientations possibles et d’obtenir des informations concrètes sur leurs avantages et inconvénients.

L’expertise technique pour l’accompagnement à la réalisation de prétotypes

Dans le cas de projets impliquant l’utilisation des nouvelles technologies, le CLICK’ propose un accompagnement technique dans la réalisation de prétotypes.

L’évaluation et la validation

Dans le cas de projets impliquant l’utilisation des nouvelles technologies, le CLICK’ propose des services de tests « user experience » en laboratoire pour des prétotypes. Les tests peuvent être réalisés avec l’équipe, avec des utilisateurs, ou avec un groupe de participants plus conséquent, selon la maturité du projet.

Le CLICK’ propose aussi des séances de validation en situation réelle. Son intervention se situe ici à deux niveaux : trouver un lieu de test adapté et prendre en charge l’évaluation, l’analyse et la présentation des données recueillies.

La méthodologie du CLICK’

1. La réunion de briefing

Afin de pouvoir comprendre votre projet et vos différents besoins, la collaboration avec le CLICK’ débute toujours par une réunion de briefing.

L’objectif : évaluation des besoins du demandeur.

A l’issue de cette réunion, deux choix possibles :

  • Une proposition concrète de collaboration illustré d’un planning de travail
  • Des conseils du CLICK’ pour une orientation vers une structure ou un fournisseur adaptés

 

 

2. La proposition de collaboration et le planning de travail

La proposition de collaboration et le planning de travail permettront au porteur de projet d’avoir une idée précise
des différentes étapes proposées par le CLICK’ ainsi que leur répartition dans le temps.

Il est parfois difficile de prévoir le nombre exact de séances d’évaluation utiles pour la réalisation d’un prétotype.
Il se peut donc que le planning en question soit revu par le CLICK’ en fonction de l’évolution du projet.

 

3. Ateliers et séances de travail

Une fois les détails pratiques et administratifs réglés, la collaboration avec le CLICK’ peut débuter.

L’équipe

Le CLICK’ c’est :

  • Une équipe de coordination qui assure le suivi des projets
  • Plus de 50 chercheurs/ingénieurs travaillant au sein de trois structures : l’Institut NUMEDIART de l’UMONS, le CETIC et Multitel

L’équipe de coordination

Guy Vanden Bemden
Directeur

  • Business development
  • Team management
  • Recherche et gestion des partenariats
  • Audit et veille technologique
  • Design du plan d’action des projets

Gerardina Curcio
Chargée de projet

  • Contact porteurs de projets
  • Organisation et animation des ateliers
  • Coordination des séances d’évaluation
  • Communication
  • Community managment

Fabien Grisard
Conseiller technique

  • Accompagnement dans la réalisation technique des prétotypes
  • Adaptation des briques technologiques issues de la recherche
  • Coordination des ateliers d’exploration technologique

Sandrine Brognaux
Guideur

  • Evaluations des résultats des projets et de leurs perspectives
  • Accompagnement juridique (rédaction des contrats de partenariat et conseils pour la gestion de la PI)

Tél: +32 65 37 47 40

E-mail:  guy.vandenbemden@umons.ac.be

Tél: +32 65 37 47 31

E-mail:  gerardina.curcio@umons.ac.be

Tél: +32 65 37 47 16

E-mail:  fabien.grisard@umons.ac.be

Tél: +32 65 37 47 97

E-mail:  sandrine.brognaux@umons.ac.be

Le CLICK’ est engagé dans un projet transfrontalier : C2L3Play – Cross Border Living Labs. Ce projet réunit des partenaires dans les Hauts-de-France, en Flandre et en Wallonie.

Objectif :
Développer des projets à haute valeur ajoutée dans la zone interrégionale dans le secteur des Industries Culturelles
et Créatives, grâce au travail conjoint des 17 partenaires du projet, dont le CLICK’

Clemence Martin
Responsable projets transfrontaliers

  • Coordination du projet Interreg C2L3Play
  • Contact CLICK’ pour les projets ayant une dimension transfrontalière

Loic Vanden Bemden
Conseiller technique C2L3Play

  • Accompagnement dans la réalisation technique des prétotypes
  • Adaptation des briques technologiques issues de la recherche
  • Coordination des ateliers d’exploration technologique
  • Intégration système
  • Elaboration de cahiers des charges

Tél: +32 65 37 47 25

E-mail:  clemence.martin@umons.ac.be

Tél: +32 65 37 47 15

E-mail:  loic.vandenbemden@umons.ac.be

Le CLICK’ est coordonné par :

Financement: