Renaître la musique de cour coréenne ancienne grâce à la technologie

Ce projet vise à ramener deux morceaux de musique de cour coréenne du 15e siècle appelés Chihwapyeong et Chwipunghyeong. Ces morceaux ont été composés d'après le poème Les Chansons du Dragon volant vers le ciel. Ils font partie des premiers exemples de Jeongganbo, un système de notation musicale en Corée. Cependant, seule une mélodie simple reste, et notre équipe a été chargée de créer un arrangement prêt à être joué pour six instruments.

On a collecté des données de Jeongganbo grâce à une méthode spéciale de reconnaissance musicale. Ensuite, on a utilisé un modèle de machine learning pour entraîner et générer de la nouvelle musique. On a aussi créé une nouvelle façon d'encoder la musique qui suit les longueurs et les positions des notes.

Les versions réimaginées de Chihwapyeong et Chwipunghyeong ont été évaluées par des experts et interprétées par l'Orchestre de musique de cour du Centre national de Gugak. Cela montre que la technologie moderne peut aider la musique traditionnelle, même avec peu d'infos.

#L'importance de la musique

La première ligne des paroles de Yongbieocheonga, le premier texte écrit en Hangul (alphabet coréen), dit : "Six dragons volent sur la terre orientale ; chaque effort est une bénédiction céleste." Sejong le Grand, une figure respectée de l'histoire coréenne, a créé l'Hangul en 1446. Il a aussi demandé aux érudits d'écrire Yongbieocheonga et a composé de la musique pour l'accompagner.

En même temps, trois autres morceaux ont été composés : Yeo-Min-Lak, Chi-Hwa-Pyeong et Chwi-Pung-Hyeong. Ces morceaux sont préservés dans les Registres véridiques de Sejong, qui sont les plus anciennes partitions musicales connues en Corée.

#État actuel des morceaux

Parmi ceux-ci, seul Yeominlak continue d'être joué aujourd'hui, tandis que les deux autres sont en grande partie oubliés. Le Centre national de Gugak, dédié à la préservation de la musique traditionnelle, a commandé ce projet pour reconstruire ces morceaux afin de les interpréter avec la technologie moderne.

En partant d'une mélodie simple de 512 mesures pour Chihwapyeong et 132 mesures pour Chwipunghyeong, notre tâche est de créer des scores pour six instruments différents.

#Le cadre de recherche

Notre solution implique plusieurs étapes de traitement d'information musicale, comme la création d'un ensemble de données spécialisé, la reconnaissance de la musique par des moyens optiques, la conception d'un schéma d'encodage spécifique, et l'entraînement de modèles avec des données limitées pour produire de la musique de concert.

On a développé deux types de modèles basés sur des transformateurs, rassemblé un ensemble de données de musique de cour coréenne, et conçu une nouvelle méthode d'encodage qui suit à la fois la hauteur et la durée des notes.

Des experts du Centre national de Gugak ont évalué nos méthodes selon divers critères et évaluations subjectives. On a aussi créé un site web interactif qui permet aux utilisateurs d'examiner et de créer de la musique de cour coréenne traditionnelle.

Ce projet est important non seulement pour préserver la culture, mais aussi pour avoir des discussions plus profondes sur l'IA et la création musicale.

#La nature de la musique de cour coréenne

La musique de cour coréenne utilise une variété d'instruments, y compris des cordes et des vents. Chaque instrument a son propre style et joue ensemble d'une manière qui génère un son riche.

La notation Jeongganbo permet une représentation simultanée de la hauteur et de la durée. C'est crucial pour transmettre la musique de cour à travers les années. Jeongganbo utilise un système de grille pour indiquer le temps, où chaque case représente une unité de temps, et les positions des notes à l'intérieur de la case montrent le rythme.

#Création d'un ensemble de données musicales

Pour créer notre ensemble de données, on a appliqué la reconnaissance optique de la musique à toutes les partitions publiées par le Centre national de Gugak. L'ensemble de données résultant se compose de 85 morceaux, avec plus de 141 000 notations musicales au total. Comme les partitions originales n'étaient disponibles qu'en images, on avait besoin de l'OMR pour les convertir en formats lisibles par machine.

On a entraîné un modèle de machine learning pour transformer et générer de nouveaux morceaux basés sur cet ensemble de données. On visait à aligner nos schémas d'encodage aux caractéristiques uniques de la musique de cour coréenne.

#Encodage pour la génération musicale

Dans la musique occidentale, des méthodes d'encodage comme la notation ABC sont courantes. Cependant, pour la musique de cour coréenne, on a besoin d'une méthode qui capture son style unique. Donc, on a proposé un encodage de type JG qui suit de près la structure de Jeongganbo, permettant une représentation précise des positions des notes.

On a aussi expérimenté différents styles d'encodage pour voir comment ils influencent la génération musicale, y compris une méthode de type REMI et un schéma plus traditionnel de type ABC.

#Construction de la musique avec des transformateurs

Pour ce projet, on a utilisé un modèle appelé transformateur pour générer de la musique. Ce modèle est excellent pour apprendre les motifs dans les séquences, ce qui le rend adapté à la création musicale.

On a mis en œuvre un compteur de temps pour aider le modèle à comprendre où il doit placer les notes en termes de temps. C'est essentiel pour que la musique générée s'écoule correctement et corresponde au style voulu.

#Entraînement et évaluation

On a divisé notre ensemble de données en trois parties : entraînement, validation et test. Le modèle apprend à générer des mélodies en fonction des entrées qu'il reçoit. On a utilisé divers critères, y compris la vérification de la longueur de la musique générée et la précision des notes produites.

Les résultats ont montré que différentes méthodes d'encodage fonctionnent différemment selon la complexité de la mélodie. On a trouvé que notre nouvelle méthode d'encodage fonctionnait mieux pour les mélodies complexes, tandis que les méthodes traditionnelles excellaient dans les plus simples.

#Transformation des mélodies anciennes

Pour générer des scores complets pour Chihwapyeong et Chwipunghyeong, on devait commencer avec une mélodie pour un instrument. Les scores originaux ne fournissaient qu'une seule mélodie. Donc, on a entraîné un modèle pour combler les lacunes et transformer la mélodie dans un contexte moderne.

En utilisant un modèle de langage masqué spécial, on peut remplacer des parties de la mélodie originale par de nouvelles notes. Notre méthode permet une transition fluide d'une mélodie ancienne à une interprétation moderne.

#Retours d'experts et performance

L'Orchestre de musique de cour a joué les morceaux nouvellement arrangés lors d'une célébration de la naissance du roi Sejong. Les musiciens ont noté que la musique générée avait des rythmes et des éléments mélodiques bien représentés, bien que certaines notes aient nécessité des ajustements pendant la performance.

La qualité de la musique s'est améliorée après un processus de raffinement, où la mélodie de chaque instrument a été régénérée en tenant compte des autres instruments. Cette étape supplémentaire a amélioré la cohérence globale de la musique.

#Conclusion

À travers ce projet, on a montré comment la technologie moderne peut redonner vie à des mélodies anciennes de la musique de cour coréenne. On a fait attention à chaque étape, de la collecte des données à la conception des modèles, en veillant à respecter la tradition tout en introduisant de nouvelles méthodes.

On espère que cette recherche contribue à rendre la musique traditionnelle plus accessible et agréable pour un public plus large. Le projet ne se concentre pas seulement sur le fait de raviver des mélodies historiques, mais vise aussi à élargir la discussion sur le machine learning dans le domaine de la musique.

Ce travail montre un engagement à préserver le patrimoine culturel tout en utilisant des techniques contemporaines. Cette initiative pourrait inspirer une exploration plus approfondie de la musique traditionnelle de diverses cultures à travers le monde.