Codec-SUPERB : Un benchmark pour les codecs audio

Les codecs audio jouent un rôle essentiel dans la façon dont l'audio est transmis et traité. Ils se concentrent sur la compression du son pour réduire le temps nécessaire à l'envoi des données tout en maintenant la qualité. Le codec son parfait devrait conserver l'audio original, y compris la voix, les émotions et d'autres détails audio intacts. Cependant, tous les codecs ne peuvent pas accomplir cela, et différentes études évaluent souvent les codecs en utilisant des méthodes distinctes, ce qui entraîne une confusion sur le codec vraiment le meilleur.

Pour résoudre ce problème, nous introduisons Codec-SUPERB, un benchmark conçu pour évaluer divers codecs audio à travers différentes applications et métriques. Ce système permet aux développeurs de comparer leurs modèles de manière plus équitable, favorisant ainsi les améliorations dans le domaine des codecs audio.

#Qu'est-ce que Codec-SUPERB ?

Codec-SUPERB signifie Codec Sound processing Universal Performance Benchmark. C'est un système structuré créé pour comparer différents modèles de codecs audio. L'objectif est d'examiner leur performance dans diverses applications sonores tout en utilisant des métriques claires et standardisées.

Ce système offre aux développeurs la possibilité de soumettre leurs modèles de codecs et de voir comment ils se comparent aux autres via un tableau en ligne. La nature collaborative de Codec-SUPERB vise à encourager le partage des connaissances et les améliorations continues dans la technologie des codecs audio.

#Objectifs de Codec-SUPERB

Codec-SUPERB a plusieurs objectifs clés :

• Analyse Holistique : En examinant les modèles de codecs tant du point de vue des applications que des signaux, nous fournissons une image plus complète de la performance des codecs. La plupart des études existantes se concentrent trop sur les métriques de signal seules.

• Standardisation : En standardisant les paramètres expérimentaux, nous éliminons les incohérences. Cela permet des comparaisons équitables entre différents codecs.

• Engagement de la Communauté : En établissant un tableau en ligne pour partager les résultats, nous favorisons un environnement collaboratif où les chercheurs peuvent partager des idées et développer davantage leurs modèles.

• Partage de Ressources : Tous les outils, ressources de données et résultats sont mis à disposition de la communauté pour faire progresser la recherche sur les codecs.

#Le Rôle des Développeurs et des Utilisateurs

Codec-SUPERB a été conçu en pensant aux développeurs et aux utilisateurs.

#Pour les Développeurs

Les développeurs peuvent créer et tester de nouveaux modèles de codecs par rapport à un large éventail d'applications sonores et de métriques de performance définies dans Codec-SUPERB. Une fois qu'ils ont évalué leurs modèles, les développeurs peuvent soumettre leurs résultats au tableau en ligne, ce qui facilite la comparaison de leur codec avec les autres. Ils peuvent utiliser divers outils statistiques et de visualisation pour identifier les domaines nécessitant des améliorations.

#Pour les Utilisateurs

Les utilisateurs peuvent contribuer des ensembles de données et des métriques, ce qui aide à élargir la base de données et à enrichir le processus de comparaison. Ils peuvent également sélectionner des modèles de codecs pour leurs applications, assurant ainsi qu'ils choisissent la meilleure option pour leurs besoins spécifiques.

#Comment Fonctionnent les Codecs

Les codecs audio fonctionnent en convertissant l'audio en une forme plus gérable pour la transmission grâce à des processus d'encodage et de décodage. L'encodeur compresse l'audio en codes de codec, qui sont ensuite envoyés à travers un réseau. De l'autre côté, le décodeur reconstruit l'audio original en utilisant les codes reçus.

Les récentes avancées ont conduit au développement de codecs audio neuraux. Ces modèles peuvent servir à deux fins : ils compressent non seulement l'audio pour une transmission efficace, mais peuvent aussi agir comme des tokenizers, transformant le son continu en tokens discrets utiles pour diverses applications, comme la modélisation linguistique.

#Évaluation de la Performance des Codecs

Codec-SUPERB évalue les codecs par le biais de différentes méthodes pour garantir une évaluation complète. Les évaluations comprennent :

• Métriques de Niveau Signal : Ces métriques évaluent la qualité audio brute du son resynthétisé, mesurant la clarté et la fidélité à travers différentes caractéristiques audio.

• Évaluation de Niveau Application : Cela implique de regarder à quel point les codecs maintiennent les informations importantes dans les applications en aval, comme la reconnaissance vocale ou la détection d'émotion.

#Évaluation de Niveau Signal

La comparaison au niveau signal mesure à quel point les codecs peuvent répliquer l'audio original à travers une collection de métriques objectives. L'objectif ici est d'évaluer diverses qualités audio, telles que la clarté et le naturel.

#Métriques Sélectionnées

Les modèles de codecs sont évalués en utilisant plusieurs métriques qui se concentrent sur différents aspects audio :

• Évaluation Perceptuelle de la Qualité de la Parole (PESQ) : Cette métrique fournit une estimation de la qualité de la parole en imitant la perception auditive humaine.

• Intelligibilité Objective à Court Terme (STOI) : Cela mesure à quel point la parole est compréhensible, surtout dans des situations bruyantes.

• Distance STFT : Cette métrique capture les écarts de fréquence et de timing dans l'audio.

• Distance Mel : Elle évalue dans quelle mesure le codec conserve les qualités spectrales de l'audio.

• Corrélation F0 : Cette métrique évalue la précision de la hauteur dans l'audio resynthétisé.

#Évaluation de Niveau Application

Au-delà de la simple mesure de la qualité sonore, il est crucial d'évaluer comment les codecs préservent des aspects audio clés lors d'applications spécifiques. Cela inclut l'évaluation de la façon dont les codecs affectent :

#Reconnaissance Automatique de la Parole (ASR)

L'ASR vise à convertir le langage parlé en texte. En utilisant des modèles ASR, nous analysons combien d'informations de contenu sont perdues après le processus de resynthèse en regardant le Taux d'Erreur de Mots (WER). Un WER plus bas indique de meilleures performances.

#Vérification Automatique de Locuteur (ASV)

L'ASV se concentre sur l'identification et la vérification de l'identité d'un locuteur à travers ses traits vocaux uniques. En utilisant des métriques comme le Taux d'Erreur Égal (EER), nous évaluons à quel point les codecs maintiennent les caractéristiques du locuteur.

#Reconnaissance des émotions (ER)

La parole n'est pas seulement une question de contenu ; elle a aussi un poids émotionnel. En utilisant des modèles spécialisés, nous analysons à quel point les codecs capturent le contenu émotionnel dans l'audio.

#Classification d'événements audio (AEC)

L'AEC implique la reconnaissance et la catégorisation d'événements sonores spécifiques dans les enregistrements audio. En utilisant des modèles pré-entraînés, nous évaluons la performance du codec à classer avec précision les sons.

#Configuration Expérimentale

Codec-SUPERB commence avec six modèles de codecs open-source différents. Chaque modèle a des spécifications d'entraînement distinctes, créant un total de 19 modèles de codecs uniques pour la comparaison. Ces modèles couvrent une large gamme de types de son, de la parole à la musique en passant par l'audio général.

#Ensembles de Données

Codec-SUPERB utilise une variété d'ensembles de données publics pour garantir des conditions de test diverses. Ces ensembles de données incluent des collections d'échantillons de parole, d'audio et de musique, chacune contribuant à des aperçus précieux sur les performances des modèles.

#Analyse des Résultats

Les résultats de Codec-SUPERB mettent en évidence des découvertes significatives qui nous aident à comprendre la performance des codecs à travers différentes dimensions.

#Résultats de Niveau Signal

Les codecs évalués sont comparés en utilisant les scores globaux de niveau signal. Ces scores varient en fonction des différents types de son, notamment :

• Données de Parole : Les résultats indiquent que certains codecs, comme Encodec et DAC, fonctionnent très bien à des bitrates spécifiques, montrant une tendance claire de meilleures performances avec des bitrates plus élevés.

• Données Audio : Des modèles similaires sont observés où Encodec se distingue comme une bonne référence tandis que d'autres modèles sont analysés par rapport à lui.

• Données Musicales : Les observations suivent les tendances indiquées dans les catégories de parole et d'audio, renforçant la cohérence de la performance des codecs.

#Résultats de Niveau Application

• ASR : Les résultats indiquent que la capacité du codec à maintenir l'intégrité contextuelle est vitale pour minimiser le WER. Certains codecs, en particulier DAC, montrent de solides performances à différents bitrates.

• ASV : Des bitrates plus élevés correspondent à de meilleurs résultats pour maintenir les informations du locuteur, et des codecs comme Funcodec excellent dans la préservation des détails vocaux.

• ER : La capacité à reconnaître les émotions dans la parole dépend du bitrate. Des bitrates plus élevés entraînent généralement une meilleure précision dans la compréhension émotionnelle.

• AEC : Comme dans d'autres évaluations, des bitrates plus élevés conduisent à des classifications plus précises des événements sonores.

#Conclusion

Codec-SUPERB établit un cadre clair pour évaluer et comparer les modèles de codecs audio. En fournissant une plateforme extensive pour les développeurs et les utilisateurs, elle encourage la collaboration et l'innovation dans la technologie audio. L'analyse effectuée à travers Codec-SUPERB non seulement éclaire la performance de divers codecs mais pave également la voie pour de futures avancées dans le traitement du son. Tous les résultats et outils issus de ce cadre sont mis à disposition de la communauté, favorisant la croissance et le développement de la recherche sur les codecs.