Simple Science

La science de pointe expliquée simplement

# Informatique# Calcul et langage

Le défi contextuel dans la traduction en langue des signes

Examiner le besoin de contexte dans une traduction précise en langue des signes.

― 7 min lire


Le contexte compte dansLe contexte compte dansla traduction des signes.complète du contexte.signes nécessite une compréhensionLa précision dans la traduction des
Table des matières

La traduction de la Langue des signes par des machines s'est surtout concentrée sur la traduction de phrases individuelles. Cette méthode prend des vidéos plus longues et les découpe en clips courts, mais cette approche peut passer à côté de détails importants. Cet article examine les limites de la traduction de la langue des signes au niveau de la phrase, en se concentrant particulièrement sur le Contexte fourni par les phrases environnantes.

L'Importance du Contexte

Les langues des signes sont complexes et dépendent du contexte. Beaucoup d'éléments dans les langues des signes nécessitent de savoir ce qui a été dit avant ou après le clip. Par exemple, quand un signe fait référence à une personne, savoir qui cette personne est nécessite un contexte préalable. Une étude a montré que lorsque des signataires sourds expérimentés traduisaient la langue des signes en anglais, ils avaient souvent du mal à comprendre des parties importantes sans contexte supplémentaire. En fait, environ un tiers du temps, ils ne comprenaient les points clés qu'après avoir considéré plus d'informations.

Défis dans le Traitement de la Langue des Signes

La plupart des outils conçus pour traduire les langues parlées supposent qu'ils fonctionneront uniquement avec du texte. Ce n'est pas suffisant pour la langue des signes, qui ajoute un élément visuel. Lorsqu'on traduit entre les langues des signes et les langues parlées, il y a encore plus de défis. La façon dont les phrases sont structurées et comprises peut être fondamentalement différente. Les signes faits avec les mains ne se traduisent pas simplement en mots parlés parce que les langues des signes construisent le sens différemment.

La Nature des Langues des Signes

Les langues des signes ne sont pas juste des gestes de la main mais sont de vraies langues avec leur propre grammaire et leurs règles. Elles sont principalement utilisées par des personnes sourdes ou malentendantes et peuvent varier énormément selon la région et la communauté. Par exemple, la langue des signes américaine (ASL) est distincte des autres langues des signes utilisées dans d'autres pays, tout comme les langues parlées varient dans le monde.

Approches Précédentes de la Traduction de la Langue des Signes

Dans les tentatives antérieures de traduire la langue des signes, l'accent était souvent mis sur la traduction des formes écrites ou des glossaires de la langue des signes. Bien que cela ait permis des travaux de traduction mécaniques, les glossaires ne sont pas la manière dont les signataires communiquent typiquement. Au lieu de cela, la traduction par vidéo nécessite plus qu'une simple traduction mot à mot. Il y a un besoin de reconnaître le contexte et le flux de la conversation en langue des signes, tout comme on le ferait dans la traduction de la langue parlée.

Pourquoi la Traduction au Niveau de la Phrase est Insuffisante

De nombreux systèmes de traduction traitent la traduction de la langue des signes comme s'il s'agissait de la même chose que la traduction de la langue parlée. Cependant, cela peut entraîner une perte de sens. Par exemple, certains types de verbes et de références ne sont clairs que lorsqu'ils sont vus dans le contexte de conversations complètes. Sans ce contexte, le sens peut être perdu ou mal interprété.

L'Étude de Base Humaine

Pour mieux comprendre l'importance du contexte dans la traduction de la langue des signes, une étude a été réalisée en utilisant l'ASL comme étude de cas. En utilisant un ensemble de données de vidéos d'instructions, les chercheurs ont examiné dans quelle mesure les annotateurs humains pouvaient traduire des phrases avec différents niveaux de contexte. Ils ont établi quatre façons de fournir du contexte :

  1. Utiliser uniquement le clip à traduire.
  2. Inclure le clip précédent pour le contexte.
  3. Ajouter la traduction anglaise du clip précédent.
  4. Donner la traduction anglaise complète de toute la narration jusqu'à ce point.

Les résultats ont indiqué que les traducteurs humains étaient significativement freinés lorsqu'ils n'avaient que le clip à leur disposition. Ils ont mieux performé lorsque des clips précédents et des traductions étaient fournis, montrant la nécessité du contexte pour une traduction précise.

Résultats sur la Performance de Traduction

L'étude a révélé que les traducteurs humains obtenaient des scores plus bas lorsqu'ils tentaient des traductions sans contexte. Une grande partie de cela était dû aux caractéristiques uniques de la langue des signes qui nécessitent une compréhension d'un contexte plus large. Environ un tiers des traductions dépendaient fortement du contexte antérieur pour une compréhension complète. La recherche a montré que de nombreuses erreurs provenaient de caractéristiques en ASL qui n'ont pas de contreparties directes en anglais parlé.

Variabilité d'Interprétation

L'étude a également révélé une variabilité substantielle dans la qualité de la traduction en fonction de l'interprète. Certains interprètes utilisaient l'ASL couramment, tandis que d'autres montraient plus d'influence de l'anglais. Cette variation a affecté la manière dont les phrases étaient comprises lorsqu'elles étaient isolées. Cela a mis en évidence l'idée que les interprètes de langue des signes changent souvent de style en fonction du contexte et de l'audience, compliquant davantage les efforts de traduction.

Caractéristiques Linguistiques des Langues des Signes

Les langues des signes possèdent des caractéristiques linguistiques uniques qui les rendent distinctes des langues parlées. Quelques caractéristiques clés incluent :

Référencement Spatial

Les langues des signes utilisent souvent des indices spatiaux pour revenir aux personnes ou objets mentionnés précédemment. Cette méthode est non seulement efficace mais clarifie aussi de quelle personne ou objet il s'agit.

Verbes Directionnels

Certains verbes dans la langue des signes peuvent changer de direction en fonction du sujet et de l'objet impliqués. Cette caractéristique ajoute des couches de sens qui peuvent facilement être perdues lors de la traduction hors contexte.

Changement de Rôle

Les signataires peuvent physiquement démontrer plusieurs personnages en changeant leur position corporelle. Cette technique oblige les spectateurs à faire attention au mouvement et à la posture du signataire, ce qui informe qui parle ou agit dans un dialogue.

Épellation et Signes Non Standards

L'épellation peut aider à introduire de nouveaux termes ou noms qui n'ont pas de signe standardisé. Cependant, lorsque le même terme est mentionné plus tard, les signataires peuvent l'abréger d'une manière qui pourrait confondre ceux qui ne sont pas familiers avec le contexte.

Limitations de l'Étude

Bien que l'étude ait offert des informations précieuses sur l'importance du contexte dans la traduction de l'ASL, elle était limitée à une langue et un domaine spécifiques. Cependant, les résultats pourraient s'appliquer à d'autres langues des signes également, suggérant que des caractéristiques similaires dépendantes du contexte peuvent exister.

Implications Plus Larges

Cette recherche pousse le domaine de la traduction de la langue des signes à repenser la dépendance à la traduction au niveau de la phrase. Bien que traduire des phrases puisse être plus simple, cela ne produit pas les meilleurs résultats. Les résultats suggèrent un besoin de méthodes qui prennent en compte l'ensemble du discours, ce qui collerait mieux à la façon dont les langues des signes fonctionnent naturellement.

Conclusion

Les résultats de cette étude encouragent un examen plus approfondi des cadres de traduction de la langue des signes. En soulignant l'importance du contexte et en reconnaissant les caractéristiques uniques des langues des signes, les travaux futurs pourraient aboutir à des avancées qui améliorent la précision de la traduction. L'objectif est de s'assurer que la technologie sert efficacement les communautés sourdes, améliorant l'accessibilité et la compréhension sans compromettre la qualité de la communication.

Source originale

Titre: Reconsidering Sentence-Level Sign Language Translation

Résumé: Historically, sign language machine translation has been posed as a sentence-level task: datasets consisting of continuous narratives are chopped up and presented to the model as isolated clips. In this work, we explore the limitations of this task framing. First, we survey a number of linguistic phenomena in sign languages that depend on discourse-level context. Then as a case study, we perform the first human baseline for sign language translation that actually substitutes a human into the machine learning task framing, rather than provide the human with the entire document as context. This human baseline -- for ASL to English translation on the How2Sign dataset -- shows that for 33% of sentences in our sample, our fluent Deaf signer annotators were only able to understand key parts of the clip in light of additional discourse-level context. These results underscore the importance of understanding and sanity checking examples when adapting machine learning to new domains.

Auteurs: Garrett Tanzer, Maximus Shengelia, Ken Harrenstien, David Uthus

Dernière mise à jour: 2024-06-16 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2406.11049

Source PDF: https://arxiv.org/pdf/2406.11049

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires