Superando Barreras Lingüísticas en PLN
Abordando los desafíos de los lenguajes de pocos recursos en el procesamiento del lenguaje natural.
Surangika Ranathungaa, Shravan Nayak, Shih-Ting Cindy Huang, Yanke Mao, Tong Su, Yun-Hsiang Ray Chan, Songchen Yuan, Anthony Rinaldi, Annie En-Shiun Lee
― 2 minilectura
Tabla de contenidos
El Procesamiento de Lenguaje Natural (NLP) se trata de enseñar a las computadoras a entender los idiomas humanos. Es como intentar hacer que tu gato entienda que quieres que se baje del teclado. Sin embargo, algunos idiomas tienen menos datos disponibles para enseñar a estos modelos informáticos. Estos idiomas se llaman idiomas de bajos recursos (LRLs). Cuando se trata de traducir entre idiomas, tener suficientes ejemplos es clave. Entonces, ¿qué hacemos cuando no hay suficientes ejemplos?
El Desafío de los LRLs
Imagina tratar de enseñar a alguien a jugar ajedrez pero solo dándole unas pocas piezas en lugar de todo el set. Así se sienten los modelos de NLP al lidiar con los LRLs. Les cuesta realizar tareas como traducción cuando no tienen suficiente material para aprender. Esto lleva a la necesidad de mejores métodos de traducción usando los pocos datos que se tienen.
Datos Auxiliares
UsandoUna forma efectiva de abordar la falta de datos es usar datos paralelos de dominios o idiomas relacionados. Piénsalo como compartir recetas entre amigos. Si tienes una receta que usa papas, pero quieres hacer un plato con batatas, es útil ver cómo tu amigo hizo su plato. De la misma manera, podemos entrenar modelos de traducción usando ejemplos de idiomas o temas que estén algo relacionados.
Ajuste fino vs. Pre-entrenamiento
Al construir sistemas de traducción, generalmente hay dos formas principales de usar estos datos auxiliares: ajuste fino y pre-entrenamiento.
-
Ajuste fino es como darle a tu amigo algunos consejos sobre su cocina basados en tu experiencia. Ya tienes un entendimiento básico y ahora solo necesitas hacer algunos ajustes.
-
Pre-entrenamiento es más parecido a volver a la escuela de cocina antes de intentar hacer ese plato de batata. Se trata de empezar desde cero.
Título: Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation
Resumen: Neural Machine Translation (NMT) systems built on multilingual sequence-to-sequence Language Models (msLMs) fail to deliver expected results when the amount of parallel data for a language, as well as the language's representation in the model are limited. This restricts the capabilities of domain-specific NMT systems for low-resource languages (LRLs). As a solution, parallel data from auxiliary domains can be used either to fine-tune or to further pre-train the msLM. We present an evaluation of the effectiveness of these two techniques in the context of domain-specific LRL-NMT. We also explore the impact of domain divergence on NMT model performance. We recommend several strategies for utilizing auxiliary parallel data in building domain-specific NMT models for LRLs.
Autores: Surangika Ranathungaa, Shravan Nayak, Shih-Ting Cindy Huang, Yanke Mao, Tong Su, Yun-Hsiang Ray Chan, Songchen Yuan, Anthony Rinaldi, Annie En-Shiun Lee
Última actualización: 2024-12-27 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2412.19522
Fuente PDF: https://arxiv.org/pdf/2412.19522
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://www.latex-project.org/lppl.txt
- https://www.elsevier.com/locate/latex
- https://ctan.org/pkg/elsarticle
- https://support.stmdocs.in/wiki/index.php?title=Model-wise_bibliographic_style_files
- https://support.stmdocs.in
- https://acl-org.github.io/ACLPUB/formatting.html
- https://2023.eacl.org/calls/papers/
- https://t.ly/MLrhd
- https://en.wikibooks.org/wiki/LaTeX/Document_Structure#Sectioning_commands
- https://en.wikibooks.org/wiki/LaTeX/Mathematics
- https://en.wikibooks.org/wiki/LaTeX/Advanced_Mathematics
- https://en.wikibooks.org/wiki/LaTeX/Tables
- https://en.wikibooks.org/wiki/LaTeX/Tables#The_tabular_environment
- https://en.wikibooks.org/wiki/LaTeX/Floats,_Figures_and_Captions
- https://en.wikibooks.org/wiki/LaTeX/Importing_Graphics#Importing_external_graphics
- https://www.pmindia.gov.in/en/
- https://www.wordproject.org/bibles/si/index.htm
- https://ebible.org/download.php
- https://github.com/mjpost/sacreBLEU
- https://www.nltk.org/
- https://en.wikibooks.org/wiki/LaTeX/Bibliography_Management