Une des applications les plus intéressantes que j’ai découverte avec la mise en œuvre de la S.I.M. de l’IRCAM est l’utilisation de plusieurs logiciels associés en interaction à l’usage de Max/FTS pour générer une spatialisation paramétrable et dynamique du son.
Dans cet article, je vais lister les quelques outils de spatialisation dont j’ai pu trouver des traces (articles, programme) sur le W.E.B. ou dans les publications. J’avoue qu’un fois de plus j’ai orienté ma recherche vers ce qui concerne l’IRCAM et sa S.I.M. même si au final, il y a une dérive de part ma curiosité et mon butinage sur le W.E.B.; j’ai ainsi étudié et noté ce qui se faisait ailleurs.
Court rappel sur la spatialisation du son
Plutôt que de réinventer la roue, je vous propose de lire un article intéressant d’Ariane Dutto sur l’histoire de « La mise en espace de la musique » et plus particulièrement le paragraphe « Une technologie au service de la spatialisation », il y a même des exemples sonores du travail de Pierre Boulez sur « Répons » (1984) et de Xu Yi sur « Le plein du vide » (1997).
Mais qu’est-ce que la spatialisation ?
Il existe plusieurs définitions de la spatialisation… Ici je ne m’intéresserai qu’à une seule de ces définition, à savoir : La spatialisation du son dans l’espace, via l’utilisation d’un modèle virtuel d’analyse et de la positionnement des sources de restitution dans l’espace sonore. Sachant qu’avec cette technique le positionnement peut être en 3D, c’est-à-dire définit dans l’espace virtuel d’un volume, et, définir des sources de restitution allant de deux jusqu’à huit voir plus par multiplication des systèmes !
Pour spatialiser un son, il faut deux dispositifs (logiciel ou/et matériel). Un permettant le calcul en temps réel des effets au quel sera soumis le son a traiter, c’est ce que je nome le spatialisateur et un autre pour gérer dynamiquement ou statiquement la positon des sources et de l’écoutant, ce dernier je l’appel contrôleur.
Le spatialisateur est la partie calcul de l’application, c’est lui qui permet la virtualisation du ou des canaux audio d’origine vers les « n » sources de restitutions ! A l’IRCAM le projet qui permet cela, a eu comme nom en fonction du temps et de son évolution / conception : Spat~, spatialisateur~ et maintenant spatialisateur. Mais en fait c’est le même moteur logiciel qui se cache derrière cette suite de programmes et de librairies pour Max/FTS et Max/MSP !
Ce logiciel est issu d’une collaboration entre l’IRCAM et France Télécom R&D, a pour objet la conception de modèles et de programmes de traitement du signal dédiés à la spatialisation sonore.
Voici une description succincte du Spatialisateur, il se compose d’un ensemble de modules logiciels de traitement du signal en temps réel. Il intègre, dans un même environnement, la synthèse de la localisation des sources sonores et celle de l’effet de salle (réverbération artificielle). L’architecture modulaire du Spatialisateur permet de s’adapter à la puissance de calcul disponible sur l’ordinateur hôte et de couvrir les différents formats de restitution classiques ou récents (stéréo, panoramiques d’intensité 2D ou 3D, binaural, transaural, ambisonic, wave field synthesis). Cette librairie existe, d’une part, sous la forme d’objets compatibles avec les environnements temps réel Max (FTS / MSP) et jMax sous les systemes d’exploitations MacOs (9 et X), Windows (Px, XP et Vista), Irix et Linux, et d’autre part, sous la forme d’une librairie de fonctions écrites en C/C++ utilisable avec d’autre logiciels.
La spatialisation du son est un domaine qui a fait l’objet de recherches intensives en informatique musicale. La plupart de ces études ont abouti à des systèmes qui permettent de simuler des espaces acoustiques en filtrant des signaux sonores. Ces travaux sont fondés sur des études psychoacoustiques qui permettent de modéliser la perception auditive de l’espace par un nombre limité de paramètres perceptifs. Ces modèles perceptifs ont abouti à un ensemble de techniques permettant de recréer la sensation de localisation sonore tridimensionnelle en utilisant un nombre limité de haut-parleurs par exemple. Ces techniques exploitent typiquement trois paramètres: la différence d’amplitude entre les canaux, les délais entre les canaux, et le contenu spectral des signaux de chaque canal. Combinés ensembles, ces trois paramètres permettent d’obtenir des impressions de direction et de distance tout à fait réalistes.
Par exemple, le Spatialisateur Ircam (Jot & Warusfel, 1995) est un processeur d’acoustique virtuelle qui réalise la synthèse de la localisation des sources sonores et de l’effet de salle (réverbération artificielle). L’une des originalités de ce processeur est d’offrir un paramétrage de la scène sonore synthétisée sous la forme d’un jeu de facteurs perceptifs qui comprennent les angles d’azimut et d’élévation et d’orientation des sources sonores par rapport à l’auditeur et des descripteurs de la qualité acoustique (effet de salle) associée à chaque source. Le Spatialisateur s’adapte automatiquement au mode de reproduction et à la configuration du système électroacoustique : reproduction tridimensionnelle sur casque ou couple de hautparleurs, systèmes multi-canaux incluant les configurations stéréo-3/2 et mode de reproduction Ambisonics.
La technologie du Spatialisateur (de l’IRCAM / France Télécom R&D ) a fait l’objet de plusieurs brevets et est utilisée dans de nombreuses productions musicales en concert, dans des installations artistiques ou dans la post-production discographique.
Je n’ai trouvé trace pour Max/FTS que deux famille de contrôleurs : en 2D et en 3D !
Circ qui a été développé par Gerhard Eckel à l’IRCAM dans les années 1992-1993, est un contrôleurs qui ne travail qu’en 2D c’est à dire dans un plan ! Il est assez simple, il n’y aucune fonction de mémorisation ou d’enregistrement d’un parcours… Il est fait pour le directe ! Il ne fonctionne qu’avec Max/FTS et les librairies Spat~.
About Circ… (March 1995)
Circ is a two-dimensional controller implemented as a Max/FTS client by Gerhard Eckel in August 1993. To use Circ with Max, you have to start it when Max is already running. If you quit Circ while Max is running you have to close down Max before you may restart Circ. Whenever you move the free point Circ will send a list of values to Max which can be received with a receive box. The symbol for the receive box is the name of the Circ document (without extension, if there is one: e.g. test.circ sends to test, Untitled sends to Untitled).
Circ was extended in March 1995 for applications to spatial sound processing, maintaining compatibility with the original implementation: if the Circ document does not have parameter points (black dots) on the circle, Circ sends a list of 4 values representing the coordinates of the free point [ x y distance angle ]. The free point is allowed to move out of the circle and the distance is 1 when the free point is on the circle. You can zoom in or out by control-clicking inside or outside the circle.
Voici une copie d’écran de l’application Circ en action :
Circ version trois sources :
Un exemple de patch Max/FTS nécessaire au traitement de Circ :
Circ est un logiciel développé par Gerhard Eckel à l’IRCAM en 1993 :
MoveInSpace lui a été développé par Todor Todoroff, Caroline Traube et Jean-Marc Ledent à la Faculté Polytechnique de Mons dans les années 1995-1998, est un contrôleurs qui travail en 3D c’est à dire dans le volume ! Il est complet, presque tous les paramètres sont modifiables. Il est possible de définir le nombre de sources et d’enregistrer un parcours. C’est la version la plus abouti des outils (sous NeXTStep) de génération de trajectoire sonore ! Il est interfaçable avec Max / FTS / Spat~ mais aussi directement avec des modules MIDI.
L’écran complet du logiciel MoveInSpace au travail, ici dans une configuration a deux HP, on remarque la fenetre de trajectoire dans le plan (a gauche) et celle en hauteur (en haut) :
Ici j’utilise Max/FTS :
MoveInSpace est un logiciel développé par Todor Todoroff, Caroline Traube et Jean-Marc Ledent à la Faculté Polytechnique de Mons dans les années 1995-1998 :
Le spatialisateur pour quoi faire ?
Le domaine d’applications du spatialisateur couvre la création musicale, les productions audio-visuelle, la réalité virtuelle et les télécommunications.
Quelques exemples sonores (échantillons bientôt en ligne…)
Un son seul sur une voix en mono :
Le son localisé a gauche en 2D (pas d’effet verticaux) :
Le son localisé a droite en 2D :
Le son en mouvement de gauche a droite en 2D :
Le son en mouvement de gauche a droite et de haut en bas en 3D :
Quelques références
J’ai noté la plupart des références, intéressantes de mon point de vu, c’est-à-dire là aussi orientées par ma recherche a la sauce IRCAM… Et avec un positionnement temporel assez ancien, disons des années ISPW (1992 à 1997). Heureusement, la aussi, j’ai gardé mon esprit curieux et donc noté quelques outils modernes ! Il faut que je modère mon coté archéo-musical !
- Interfaces graphiques NeXTSTEP pour la commande d’instruments virtuels d’aide à la composition et à l’interprétation de musique électroacoustique.
- Interfaces graphiques pour la commande d’outils de transformations sonores.
- Instrument de transformation par analyse-synthèse dans Max/FTS.
- Real-time spatial processing of sounds for music, multimedia and interactive human-computer interfaces.
- Contrôle de la spatialisation comme paramètre musical.
- MidiSpace, un spatialisateur Midi interactif.
Site traitant de la spatialisation
Multiphonie Vous trouverez beaucoup de liens vers des programmes et autres VST modernes pour la spatialisation sur ce site ! A fouiller impérativement !
Télécharger et acheter les logiciels
Le Spatialisateur Spat~ sur le forum IRCAM (prix en ligne)
La version en ligne d’un article sur le sujet : http://recherche.ircam.fr/equipes/repmus/jim96/actes/traube/traube.html