Normaliser les ensembles de données d'évaluation de la qualité

Ces dernières années, beaucoup de jeux de données ont été créés pour aider à évaluer la qualité du contenu multimédia. Ça peut inclure à la fois des évaluations de qualité subjectives, où les gens donnent leur avis, et des évaluations de qualité objectives, où des mesures sont prises avec des métriques spécifiques. Malgré le nombre de jeux de données disponibles, il n'y a pas de façon standard de présenter les infos à leur sujet. Ce manque de standard rend difficile pour les chercheurs de déterminer rapidement ce qu'inclut un jeu de données, comme ses vidéos sources, les méthodes utilisées pour rassembler les données, et bien plus encore.

Cet article parle du besoin d'un modèle standard pour documenter ces jeux de données, rendant plus facile pour les utilisateurs de les comprendre et de les utiliser. L'idée, c'est de créer un moyen simple et efficace de fournir tous les détails nécessaires sur les jeux de données afin d'améliorer la qualité de la recherche et sa reproductibilité.

#L'Importance des Jeux de Données d'Évaluation de Qualité

Au cours des deux dernières décennies, le streaming vidéo est devenu super populaire. Ça représente maintenant une grosse partie du trafic internet. Cette croissance est due à divers facteurs, comme de meilleures techniques de compression vidéo, des méthodes de livraison améliorées, et des appareils avancés comme les smartphones et les télévisions intelligentes. Pour continuer sur cette lancée, il est crucial de s'assurer que les utilisateurs profitent d'une bonne expérience de qualité en utilisant les services de streaming.

La Qualité de l'expérience (QoE) mesure combien les utilisateurs aiment ou n'aiment pas un service spécifique. La recherche s'est concentrée sur la création de différentes métriques de qualité pour prédire comment les utilisateurs perçoivent le contenu multimédia. Ces métriques vont des basiques qui mesurent la qualité d'image, comme le PSNR, à des plus complexes conçues pour évaluer les vidéos, comme le VMAF.

Développer des métriques de qualité efficaces repose sur la disponibilité d'une variété de jeux de données. Au fil des ans, beaucoup de jeux de données ont été créés, depuis le début des années 2000 jusqu'aux collections plus récentes. Ces jeux de données ont aidé les chercheurs à comprendre comment évaluer la qualité multimédia et comment l'améliorer.

#Le Besoin d'une Documentation Standard

Même si beaucoup de jeux de données existent, il n'y a pas de format standard pour les documenter. Ce manque de standardisation signifie qu'il appartient aux créateurs de rapporter ce qui est inclus. Sans un guide clair, des infos importantes peuvent être omises. Ça peut conduire à une expérience frustrante pour les chercheurs qui ont besoin de rassembler des données nécessaires à partir de plusieurs sources, ce qui est souvent une tâche chronophage.

L'absence d'un modèle standard rend plus difficile pour les utilisateurs de trouver les détails pertinents sur les jeux de données qui les intéressent. En conséquence, ils peuvent passer à côté d'informations cruciales concernant la source du jeu de données, la méthodologie de test, et les paramètres d'encodage, entre autres. Ça peut freiner leur capacité à utiliser efficacement les jeux de données dans leurs recherches.

#Créer un Modèle pour la Documentation

Pour combler le manque de documentation, un nouveau modèle de feuille de données a été proposé. L'idée, c'est de rendre le processus de documentation plus simple pour les jeux de données existants et nouveaux, améliorant la façon dont les utilisateurs peuvent les comprendre et reproduire des résultats d'études précédentes. Ce modèle peut servir de guide pour les créateurs de jeux de données, les aidant à présenter leur travail de manière claire et cohérente.

La feuille de données proposée inclura plusieurs sections qui couvrent tous les aspects nécessaires des jeux de données. En suivant ce modèle, les créateurs de jeux de données peuvent s'assurer qu'ils fournissent des informations complètes, facilitant la compréhension du contexte et l'utilisation du jeu de données dans leur travail.

#Aperçu du Modèle Proposé

Le modèle de feuille de données proposé est divisé en six sections principales :

#1. Aperçu du jeu de données

Cette section donne une description rapide du jeu de données. Elle doit inclure le nom du jeu de données, la date de création, où il peut être téléchargé, la licence d'utilisation, comment le citer, et les infos de contact des créateurs. Cet aperçu aide les utilisateurs à évaluer rapidement si le jeu de données correspond à leurs besoins de recherche.

#2. Description du Jeu de Données

Dans cette section, les caractéristiques du jeu de données sont détaillées. Ça inclut des infos sur les vidéos sources, comme leur nombre, type, résolution, et d'autres caractéristiques pertinentes. En plus, cette section discute des paramètres d'encodage utilisés, comme les types de codecs et les paramètres pour l'encodage. Enfin, ça couvre les séquences vidéo traitées, y compris combien de séquences sont utilisées et le format pour la lecture des médias.

#3. Évaluation de Qualité Subjective

Cette partie couvre les méthodes et procédures suivies lors de l'évaluation de qualité subjective. Elle détaille les paramètres de test, comme l'environnement, le type d'affichage, et à quelle distance les participants doivent se placer en regardant. Elle discute aussi de la méthodologie de test, y compris les logiciels utilisés et le nombre de sujets impliqués. Cette section vise à donner aux lecteurs une compréhension claire de la façon dont les évaluations de qualité subjectives sont réalisées.

#4. Évaluation de Qualité Objective

Cette section se concentre sur les mesures objectives prises pour évaluer la qualité vidéo. Elle décrit différents modèles et méthodes utilisés pour prédire la qualité visuelle basée sur des mesures spécifiques. Les aspects clés incluent les métriques de qualité utilisées, comment elles ont été mises en œuvre, et comment leur efficacité a été évaluée. Ces informations aident les lecteurs à comprendre la fiabilité des évaluations objectives.

#5. Considérations Éthiques

Quand il s'agit de jeux de données qui incluent du contenu multimédia, les questions éthiques sont importantes. Cette section couvre des aspects comme l'inclusion de données personnelles et tout contenu dérangeant. Il est crucial pour les utilisateurs de comprendre les directives éthiques suivies lors de la collecte de données, surtout quand des participants humains sont impliqués dans des évaluations subjectives. Cette section discute aussi des approbations nécessaires et des formulaires de consentement.

#6. Informations Supplémentaires

Enfin, cette section est dédiée à des informations supplémentaires qui ne rentrent pas ailleurs. Elle capture des détails sur les créateurs, le financement du jeu de données, et tout problème confidentiel dont les utilisateurs pourraient avoir besoin d'être au courant. Cette section permet aux créateurs de jeux de données de partager des informations pertinentes qui améliorent la compréhension du jeu de données.

#Exemples de Jeux de Données

Pour aider à clarifier comment le modèle proposé fonctionne, nous fournissons des exemples de fiches de données pour les jeux de données existants suivants :

#GamingVideoSET

Ce jeu de données comprend des vidéos sources accompagnées des résultats d'évaluations subjectives et objectives liées à la qualité vidéo de jeux. Il fournit des informations sur la façon dont les joueurs perçoivent la qualité vidéo.

#AVT-VQDB-UHD1

Ce jeu de données inclut des vidéos sources et des scores subjectifs et objectifs pour des vidéos encodées avec différents codecs. Il a été utilisé pour développer des recommandations spécifiques pour l'évaluation de la qualité vidéo, ce qui souligne sa pertinence pour comprendre l'encodage vidéo.

#BC-KU Multi-Screen Dataset

Le plus récent ajout, ce jeu de données se concentre sur les évaluations subjectives et objectives de la qualité vidéo sur plusieurs écrans, y compris les appareils mobiles, les tablettes, et les télévisions. Il offre des aperçus sur la façon dont la qualité peut varier selon l'appareil utilisé.

#Conclusion et Prochaines Étapes

Cet effort pour créer un modèle de feuille de données vise à améliorer la façon dont les jeux de données d'évaluation de qualité subjective et objective sont documentés. Bien qu'il ne soit pas encore parfait ou complet, il sert de point de départ. Au fur et à mesure que les retours d'experts dans le domaine seront recueillis, des mises à jour et des améliorations seront apportées pour s'assurer que le modèle répond aux besoins de la communauté.

Bien qu'il y ait une charge supplémentaire pour les créateurs de jeux de données de remplir le modèle, les avantages d'avoir un formulaire standardisé surpassent largement les coûts. Le modèle peut facilement être adapté pour convenir à divers types de jeux de données, y compris des formats audio uniquement et des vidéos immersives.

Pour l'avenir, l'objectif est de travailler avec des experts de différents domaines pour développer des modèles encore plus adaptés pour d'autres types de jeux de données d'évaluation de qualité. Cela améliorera la clarté et l'utilisabilité pour les chercheurs dans le domaine.