Nouveau jeu de données pour la traduction en langue des signes indienne

Les langues des signes sont super importantes pour beaucoup de Malentendants dans le monde. Elles permettent aux gens qui n'entendent pas bien de communiquer efficacement. Mais, il y a un gros fossé de communication entre la communauté malentendante et le reste de la société. Pour aider à réduire ce fossé, des chercheurs travaillent sur des systèmes de traduction de la langue des signes. Ces systèmes visent à traduire la langue des signes en langue parlée et vice versa. Malheureusement, il n'y a pas beaucoup de ressources disponibles pour la Langue des Signes Indienne (ISL) par rapport à d'autres langues des signes.

Cet article présente un nouveau jeu de données de traduction spécifiquement pour la Langue des Signes Indienne. Ce jeu de données contient 31 000 paires de phrases ou de phrases en ISL et en anglais. À notre connaissance, c'est le plus grand jeu de données pour traduire la Langue des Signes Indienne continue. On va aussi faire une analyse du jeu de données et présenter les résultats des premiers tests des modèles de traduction.

#Le besoin de ressources en ISL

Environ 430 millions de personnes dans le monde sont malentendantes, dont environ 63 millions en Inde. En Inde, la langue des signes est le principal moyen de communication pour beaucoup de malentendants. Bien que les techniques en traitement du langage naturel aient beaucoup progressé ces dernières années, les langues des signes, y compris l'ISL, manquent encore d'outils efficaces pour le traitement et la traduction. C'est surtout dû au manque de grands Jeux de données annotés qui peuvent être utilisés pour construire des systèmes de traduction efficaces.

L'ISL est essentielle pour un grand groupe diversifié de personnes en Inde. Malgré son importance, il n'y a qu'environ 300 interprètes de langue des signes certifiés dans le pays, selon les statistiques officielles. Cette disponibilité limitée rend encore plus difficile la communication pour la communauté malentendante avec ceux qui ne connaissent pas la langue des signes. Notre objectif est d'aider à combler ce fossé en créant un nouveau jeu de données pour traduire l'ISL en anglais.

#Création du jeu de données

Le nouveau jeu de données créé se compose de contenu éducatif destiné aux enfants malentendants. De nombreux éducateurs et organisations produisent désormais des matériaux standardisés en ISL pour remédier au manque de ressources éducatives. Le jeu de données se concentre sur le vocabulaire couramment utilisé dans des sujets comme les maths, les sciences et l'anglais.

On s'est concentré sur des matériaux Éducatifs qui sont largement utilisés à travers l'Inde. Cette approche nous permet de couvrir divers sujets et de s'assurer que le vocabulaire est pertinent et utile. Comme l'ISL est une langue à faibles ressources, créer un jeu de données implique de nombreux défis, surtout en ce qui concerne l'annotation de la langue des signes au niveau des gestes.

Pour garantir l'exactitude, on avait besoin de données vidéo de haute qualité qui capturaient les signes utilisés. On a collecté des vidéos d'organisations qui fournissaient du contenu éducatif pour les étudiants malentendants. On a utilisé des voix off de ces vidéos pour les segmenter en phrases ou en phrases individuelles.

#Processus d'annotation

Annoter manuellement des vidéos de langue des signes est une tâche complexe et chronophage. Pour notre jeu de données, on a travaillé en étroite collaboration avec un instructeur de langue des signes ISL certifié pour valider un sous-ensemble aléatoire des traductions. L'instructeur, qui est malentendant, a utilisé son expertise pour s'assurer que les traductions étaient précises.

Chaque vidéo du jeu de données est accompagnée d'une traduction de référence fournie par l'instructeur ISL. En comparant les traductions originales avec les interprétations de l'instructeur, on peut évaluer la qualité des paires de traductions.

#Tests initiaux et résultats

On a créé un modèle de référence pour tester les traductions en utilisant une architecture basée sur un transformateur de langue des signes. L'objectif était de convertir les vidéos de signes en phrases anglaises. Les résultats initiaux montrent le défi de traduire l'ISL, car les scores obtenus n'étaient pas aussi élevés qu'on l'aurait voulu.

Le modèle utilisé est conçu pour traiter les mouvements et les gestes dans les vidéos. Il analyse divers aspects des signes, y compris les formes de mains, les mouvements et les expressions faciales. Ces caractéristiques sont cruciales pour transmettre un sens dans les langues des signes. Le modèle essaie ensuite de générer des phrases anglaises basées sur les signes montrés dans les vidéos.

Bien que les résultats indiquent que le modèle ne performe pas encore à un niveau idéal, ce travail met en avant une opportunité importante d'amélioration. Les défis rencontrés dans la traduction de l'ISL peuvent motiver des recherches et un développement supplémentaires de meilleurs systèmes de traduction de la langue des signes.

#Directions futures

Bien qu'on ait fait des progrès avec le jeu de données et les tests initiaux, il reste encore beaucoup à faire. On prévoit d'étendre le jeu de données pour créer des systèmes de traduction encore plus fiables. L'idée est d'inclure plus de vidéos et de phrases, augmentant ainsi la taille et la diversité du jeu de données.

Dans les travaux futurs, on vise aussi à construire des modèles qui intègrent des connaissances spécifiques à l'ISL. En intégrant des caractéristiques linguistiques uniques à l'ISL, on pense que ça peut aider à améliorer la performance globale des systèmes de traduction.

#Considérations éthiques

La création du jeu de données a été faite avec soin, en tenant compte des implications éthiques. On a utilisé des vidéos éducatives disponibles publiquement, en s'assurant de ne violer aucun droit d'auteur. Tous les contributeurs du jeu de données, y compris les instructeurs de langue des signes, ont participé volontairement.

En soutenant l'accès aux ressources pour la communauté malentendante, on espère avoir un impact positif sur leur capacité à apprendre et à communiquer. Le jeu de données est créé dans un but éducatif, et on s'efforce de respecter les droits des personnes impliquées dans le contenu.

#Conclusion

En résumé, on a présenté un nouveau jeu de données pour traduire la Langue des Signes Indienne en anglais, qui contient 31 000 paires de phrases ISL et anglaises. On a fourni une analyse du jeu de données et rapporté sur le développement d'un modèle de traduction initial. Ce modèle met en avant les défis de traduire la langue des signes et encourage une exploration plus approfondie du domaine.

Il y a un besoin important de plus de ressources et de recherches dans le domaine de la Langue des Signes Indienne. Notre jeu de données vise à combler le fossé existant et à contribuer à une meilleure communication pour les malentendants en Inde. On attend avec impatience les avancées futures dans les systèmes de traduction et l'impact significatif qu'ils peuvent avoir sur la communauté.