Son et Musique

1. Traitements sonores

L’industrie de la musique utilise de manière intensive les effets musicaux, qui font l’objet de développements matériels (pédales) ou logiciels (simulateurs de pédales d’éffets).
A ce jour, les effets musicaux sont complètement contrôles par le musicien : la pédale d’effet proprement dite ne prend aucune décision autonome. Les développements récents en intelligence artificielle ont ouvert la voie vers la mise au point de systèmes qui écoutent le son produit par l’instrument et s’y adaptent.

Exemple : Enriched Guitar Controller. Ce projet a permis de mettre au point un algorithme de détection de notes polyphoniques (plusieurs notes en même temps) et poly-techniques (plusieurs techniques de jeu en me#me temps – jeu normal, hammering on, pull off, harmoniques, etc.) de jeu de guitare. L’objectif est de développer un boîtier de connexion et d’implémenter le logiciel optimisé sur processeur embarqué.

3. Interactions geste-sons en temps réel

L’utilisation de capteurs embarqués sur des objets ou sur le corps, ou la mesure de mouvements pas camera ou sur une tablette numérique, permettent aux gestes d’un performer d’interagir en temps réel avec du contenu sonore.
Le geste peut être utilisé pour synthétiser du son (dont les paramètres rythmiques et du timbre dépendront du mouvement – on parle alors de lutherie numérique), ou pour le modifier en temps réel (à la manière d’un chef d’orchestre qui contrôle les intensités et rythmes relatifs des instruments).

Exemple : Laplace Tiger – eVanescens. En collaboration avec le compositeur et batteur allemande Alexander Schubert, une oeuvre interactive (Laplace Tiger) a été créée, basée d’une une analyse fine des mouvements du batteur (mesurés par un capteur inertiel placé sur son poignet). L’opus, divisé en plus de 60 mouvements, explore les potentialités de l’interaction geste-son en temps réel. De même, eVanescens, par Todor Todoroff & Laura Colmenares Guerra (www.eVanescens.net) a permis d’explorer la relation geste-son autour d’un jeu d’une violoncelliste (Sigrid Vandenbogaerde).

2. Détection d’événements sonores et localisation

De même que pour la détection d’objets pour le traitement d’images, nous essayons ici de reconnaître quel son a été produit, à quel moment il s’est produit et d’où il vient. Nous nous sommes principalement concentrés sur la détection d’événements audio et la localisation en intérieur, ainsi que sur la collecte et l’augmentation des données.

Application: surveillance audio, détection de chute pour personnes âgées, annotation automatique d’événements sportifs