Que signifie "PasDeRéFÉ"?
Table des matières
NoRefER est un nouvel outil conçu pour évaluer la qualité des systèmes de reconnaissance vocale automatique (ASR) sans avoir besoin d'une version texte correcte à comparer. C'est différent des méthodes traditionnelles qui s'appuient souvent sur un transcript parfait pour vérifier comment l'ASR fonctionne.
Comment ça marche
NoRefER utilise une approche spéciale appelée apprentissage contrastif, qui aide le système à évaluer et classer les différentes sorties ASR selon leur qualité. Il regarde à quel point les versions de transcriptions vocales correspondent et utilise ces infos pour améliorer ses évaluations. Il existe aussi une version qui peut utiliser certaines données de référence pour rendre ses évaluations encore meilleures.
Avantages
Cet outil aide à identifier les erreurs dans les sorties ASR, ce qui facilite le travail des gens pour peaufiner les systèmes et améliorer leur précision. De plus, NoRefER donne des infos sur le fonctionnement des modèles ASR, ce qui peut être utile pour les développeurs qui réfléchissent à comment améliorer ces systèmes. Ça permet un meilleur échantillonnage des données et aide à prioriser ce qui doit être travaillé pendant l'édition.
Résultats
Des études montrent que les évaluations de NoRefER sont étroitement alignées avec les méthodes traditionnelles, suggérant que ça pourrait être une alternative solide pour évaluer les systèmes ASR sans avoir besoin de textes de référence. Cette capacité en fait une ressource précieuse pour les améliorations continues de la technologie ASR.