Le 15 août dernier, dans le cadre du Festival de Salzbourg, CultTech Association et Ars Electronica ont réuni des experts en technologie de l’information et des artistes réputés pour discuter de l’avenir de l’intelligence artificielle dans les domaines artistiques. La discussion incluait également une intelligence artificielle nommée Morfeus.
Organisateurs
CultTech Association est un organisme à but non lucratif basé à Vienne, Autriche, qui croit au pouvoir transformateur et à une contribution positive des innovations technologiques pour redonner un rôle central à la culture dans un monde post-matériel. De son côté, Ars Electronica a débuté en 1979 en tant qu’organisatrice d’un festival annuel voué aux arts et à la technologie, et a progressivement élargi ses champs d’activité à la remise de prix, à la création d’un centre et d’un laboratoire de création, au développement d’expositions mobiles, etc.
Participants humains et non humain
Pour la rencontre du 15 août, les deux organisations ont réuni six acteurs·ices des milieux artistiques et technologiques : Stefan Kaegi, producteur de pièces de théâtre documentaires, de théâtre radiophonique et de productions dans les espaces urbains; Asmik Grigorian, soprano lituanienne; Miller Puckette, directeur associé du Center for Research in Computing and the Arts basé à San Diego, et professeur de musique à la University of California, San Diego; David Yang, un entrepreneur en série de Silicon Valley spécialisé en développement des IA et co-fondateur, entre autres, de newo.ai, une plateforme pour la création de travailleurs non humains/employés numériques; Gerfried Stocker, directeur artistique d’Ars electronica, artiste en arts médiatiques et ingénieur en technologie des communications; et AC Coppens, spécialiste en animation d’événements et co-responsable de la fondation de THE CATALYSTS, une agence d’accompagnement de projets en technologie numérique, médias, musique, cinéma et design, selon leur site web.
Tel que mentionné plus haut, les instances organisatrices ont également donné voix au chapitre à l’intelligence artificielle Morfeus, une décision pertinente étant donné le sujet, mais ont en même temps complètement négligé d’inclure des spécialistes féminines des développements technologiques dans les arts.
Démonstration
Au cours de la rencontre, la soprano Asmik Grigorian a chanté la mélodie arménienne Krunk (La grue) :
Le public a pu comparer cette version en personne avec une version de la même mélodie générée par une intelligence artificielle entraînée à partir d’enregistrements de la voix de Grigorian :
Processus
La version IA a été créée en utilisant Voice Swap, une application de modification de la voix par IA. Le catalogue de voix disponibles sur Voice Swap va du reggae et du blues à la musique house et EDM, mais c’était la première fois que l’équipe travaillait sur la reproduction d’une voix opératique. Sur son site web, la compagnie décrit ainsi les défis générés par la tâche (ma traduction) :
« La nature dynamique d’une exécution d’un air d’opéra et l’ambitus exploré par les chanteurs·euses d’opéra signifiait que le modèle devait capter et reproduire un style comportant de plus grandes variations que dans d’autres genres. Pour obtenir la quantité d’audio nécessaire pour entraîner le modèle, nous devions isoler des pistes a cappella d’enregistrements existants d’Asmik. Contrairement à d’autres genres, la musique classique est généralement enregistrée dans un seul endroit, en une seule prise, sans utiliser de multipistes [NDLT : l’enregistrement de la musique classique utilise bien sûr les multipistes, mais pas séparées par voix strictement individuelle comme dans les styles de musique pop]. Ceci nous mettait face à un nouveau défi : comment obtenir les pistes vocales propres [NDLT : c.-à-d. non « corrompues » par des sons d’instruments périphériques] nécessaires pour obtenir un modèle vocal de haute qualité? La solution nous est venue par l’entremise d’AudioShake, une compagnie de séparation de stems [NDLT : pistes d’enregistrement regroupées par famille d’instruments] ayant travaillé avec Disney, De La Soul, Greenday et la succession de Nina Simone. La haute qualité de leur logiciel de séparation de stems nous a permis d’isoler les pistes vocales d’Asmik, fournissant suffisamment de pistes audio pour créer et raffiner la voix IA d’Asmik. »
Les concepteurs du projet ont ensuite arrêté leur choix de pièce à reproduire sur Krunk (La grue), une mélodie de Vardapet Komitas souvent reprise et enregistrée – mais jamais par Asmik Grigorian, ce qui était important pour démontrer pleinement les capacités du modèle.
Ayant obtenu la permission d’utiliser un enregistrement de la chanteuse Ruzanna Nahapetjan, l’équipe s’est de nouveau affairée à décortiquer l’enregistrement, cette fois pour en extraire la partie de piano (jouée par Roderigo Robles De Medina) et remplacer la voix de Nahapetjan par celle de Grigorian. Le mélange des deux enregistrements a ensuite été traité de façon traditionnelle pour recréer le même espace acoustique sur les deux. « Le résultat est un enregistrement d’Asmik « chantant » une mélodie qu’elle n’a jamais interprétée ou enregistrée auparavant. »
L’équipe de Voice Swap qualifie ce développement d’un modèle de reproduction d’une voix d’opéra de « projet posant le plus grand défi, mais également le plus gratifiant, à date ».
Objectif
Sur son site web, Voice Swap semble anticiper la possibilité de réactions négatives et se défend de vouloir remplacer les artistes :
« Le but de ce projet n’était pas de créer une technologie pouvant remplacer les chanteurs·euses humain·e·s, mais plutôt de démontrer comment cette technologie pouvait susciter des discussions, des débats et même des divergences d’opinion. L’IA en est encore à ses balbutiements, et même si nous pouvons cloner des timbres et des textures, nous ne tentions pas de remplacer entièrement la somme d’émotions et d’entraînement discipliné de toute une vie dévouée à l’interprétation d’opéra.
L’interprétation est un art entièrement humain, et au fur et à mesure que cette technologie continue de se développer, c’est dans la combinaison d’efforts artistiques et créatifs humains avec ces technologies révolutionnaires que fleuriront de nouvelles idées. De l’échantillonnage aux synthétiseurs, boîtes à rythmes (drum machines) et à la correction automatique de l’intonation (autotune), c’est toujours la personne humaine derrière la technologie qui en définit l’impact. Que cela continue longtemps ainsi. »
Inscrivez-vous à notre infolettre! La musique classique et l’opéra en 5 minutes, chaque jour ICI
- ACTUALITÉS | Gardiner se relance à Hambourg et Berlin perd Sareika - 13 septembre 2024
- NOUVELLE | Les chanteurs Dominic Veilleux et Danny Leclerc se distinguent dans des concours européens - 11 septembre 2024
- NOUVELLE | Post-Jacques Lacombe, l’OCM nous chante la pomme pour sa 85e saison - 10 septembre 2024
