Mejorando la corrección de errores en ruso para hablantes no nativos

La corrección de errores gramaticales (GEC) se trata de identificar y arreglar errores en la escritura. Este trabajo es clave para ayudar a la gente a mejorar sus habilidades lingüísticas. Para el ruso, hay muchas herramientas que pueden corregir Errores de ortografía, pero suelen tener problemas con los errores que cometen las personas que hablan ruso como segundo idioma. Estos aprendices tienden a cometer errores que los hablantes nativos no harían. Este artículo habla de un nuevo método que usa un Modelo de Lenguaje para corregir errores en la escritura en ruso de hablantes no nativos.

#Antecedentes

Corregir errores gramaticales puede ser complicado debido a los diferentes tipos de errores que existen. Muchas herramientas actuales hacen un buen trabajo con errores simples, como erratas. Estos errores suelen corregirse mirando las palabras cercanas y sugiriendo la ortografía más cercana basada en formas correctas anteriores. Sin embargo, los aprendices a menudo cometen errores más complejos, como usar la palabra equivocada o mezclar reglas gramaticales. Algunos sistemas utilizan una combinación de reglas y aprendizaje automático para corregir estos errores, pero necesitan muchos ejemplos para funcionar bien.

Una herramienta popular para corregir texto en ruso es Yandex.Speller. Esta herramienta puede encontrar y arreglar errores en ruso y otros idiomas, incluidos el inglés y el ucraniano. Incluso puede manejar palabras que no están en su diccionario. Sin embargo, tiene problemas con varias palabras incorrectas seguidas, y encontrar la corrección adecuada puede ser un reto en esos casos.

#Tipos de Aprendices

Nos enfocamos en dos grupos de hablantes no nativos de ruso. El primer grupo incluye a personas que aprenden ruso como lengua extranjera. A menudo, llevan reglas y palabras de sus lenguas nativas al escribir en ruso. El segundo grupo está compuesto por hablantes de herencia. Estas son personas que tienen algo de exposición al ruso a través de sus padres, pero hablan otro idioma en su vida diaria. Estos aprendices a menudo crean combinaciones de palabras inusuales que no encajan con los patrones típicos del idioma ruso.

En general, la escritura de estos hablantes no nativos tiene más errores en comparación con la de los hablantes nativos. A menudo, incluso varias palabras seguidas pueden estar mal escritas, lo que dificulta encontrar el contexto correcto para la corrección de errores.

#Enfoques para la Corrección de Errores Gramaticales

Hay varias formas de abordar la tarea de corregir errores gramaticales. Vamos a repasar brevemente algunos de ellos.

#Enfoques Basados en Reglas

El método clásico para corregir errores implica crear reglas para tipos específicos de errores. Los primeros sistemas dependían de emparejar patrones y reemplazarlos según reglas basadas en tipos de palabras (como sustantivos y verbos). La ventaja de este método es que no requiere muchos datos. Sin embargo, crear reglas que cubran todos los errores posibles es casi imposible, especialmente en idiomas como el ruso que tienen sistemas gramaticales complejos. Aunque este método tiene sus limitaciones, puede complementar eficazmente modelos más sofisticados.

#Enfoques Basados en Clasificadores

A medida que se ha vuelto disponible más datos anotados, muchos sistemas ahora utilizan aprendizaje automático para entrenar clasificadores para corregir errores específicos. Cada tipo de error tiene una lista de posibles correcciones. El modelo utiliza características lingüísticas para averiguar cuál corrección es la mejor. Este tipo de sistema generalmente solo corrige una palabra a la vez, lo que puede no funcionar bien con errores interconectados en una oración.

Para mejorar esta situación, algunos sistemas combinan varios clasificadores para abordar más de un error en una oración. Sin embargo, esto solo funciona si los errores no se afectan entre sí.

#Enfoques de Traducción Automática

Algunos de los sistemas GEC más exitosos han utilizado técnicas de traducción automática. Estos sistemas aprovechan modelos de lenguaje entrenados con grandes cantidades de datos. La idea principal es que las oraciones que el modelo califica como menos probables son más propensas a contener errores que las calificadas como más probables.

Muchos métodos GEC exitosos dependen de estos modelos de lenguaje, incluso después de la llegada de la traducción automática neuronal. Estudios recientes han mostrado que los modelos de lenguaje modernos, como los construidos con la arquitectura Transformer, funcionan bien en tareas de GEC.

#Nuestro Enfoque

Proponemos un nuevo método que se basa en un modelo de lenguaje para corregir errores en la escritura en ruso. Este modelo está entrenado con una gran colección de textos correctos tomados de varios periódicos. El objetivo es crear una herramienta efectiva para corregir errores de escritura cometidos por hablantes no nativos.

#Entrenando el Modelo de Lenguaje

Usamos una colección de textos específica conocida como el Corpus de Periódicos. Este corpus incluye artículos de principales fuentes de noticias rusas y presenta una gran variedad de vocabulario. Para probar nuestro sistema de corrección, utilizamos otro conjunto de datos llamado el corpus RULEC-GEC, que incluye ensayos escritos por estudiantes universitarios que aprenden ruso.

El corpus RULEC-GEC contiene miles de oraciones y ha sido revisado manualmente en busca de errores. Esto nos permite comparar el rendimiento de nuestra herramienta con un sólido punto de referencia.

#Proceso de Corrección de Errores

Nuestro método de corrección de errores implica múltiples pasos, abordando diferentes tipos de errores a través de una serie de correcciones. Cada paso toma una oración e intenta corregir cualquier error de manera independiente.

#Paso 1: Corrigiendo Errores de Ortografía

La primera tarea es identificar y corregir palabras con errores de ortografía. La oración se descompone en partes más pequeñas llamadas tokens, y cada token se verifica en un diccionario. Si una palabra no se encuentra, se marca como incorrecta. Para cada uno de estos tokens, compilamos una lista de posibles ortografías correctas basadas en su similitud, luego elegimos la mejor opción usando nuestro modelo de lenguaje.

Muchas veces, la escritura L2 contiene varias palabras incorrectas juntas. Comenzamos a corregir estas desde la palabra más a la derecha hacia la izquierda. Dado que algunas palabras pueden estar muy distorsionadas, también usamos representaciones fonéticas para encontrar candidatos para correcciones. Esto implica crear un diccionario secundario que conecte formas incorrectas con sus versiones correctas basadas en similitudes de sonido.

#Paso 2: Aplicando Reglas Simples

Después de corregir errores de ortografía, aplicamos dos reglas sencillas. La primera regla es agregar marcas de puntuación específicas donde sea necesario. La segunda implica elegir entre dos Preposiciones comúnmente confundidas basándonos en la primera letra de la siguiente palabra. Estas reglas simples pueden mejorar significativamente la precisión general cuando se aplican a textos L2.

#Paso 3: Corrigiendo Preposiciones

Observamos que los hablantes no nativos a menudo usan mal las preposiciones. Para abordar este problema, utilizamos un modelo de red neuronal llamado RuBERT. Al predecir qué preposición se ajusta mejor en una oración, podemos mejorar la corrección de la escritura. El modelo examina cada preposición, y si encuentra una mejor opción, la reemplaza con aquella que aumenta la probabilidad de la oración.

#Paso 4: Arreglando Errores de Concordancia

Otro problema frecuente en la escritura es la concordancia, que ocurre cuando sujetos y verbos o adjetivos y sustantivos no coinciden. Usamos una técnica donde examinamos pares de palabras que podrían reflejar una concordancia incorrecta. Comparando estos pares con los de corpus de texto, podemos sugerir correcciones que mejoren la corrección gramatical.

#Resultados y Evaluación

Evaluamos nuestro enfoque midiendo su rendimiento en el corpus RULEC-GEC. Los resultados iniciales muestran un equilibrio entre precisión y recuperación. Nuestro modelo supera a muchos esfuerzos previos, pero aún hay margen para mejorar. Cuando usamos nuestro sistema junto con Yandex.Speller, la precisión general mejora.

A pesar del diseño relativamente simple de nuestro modelo, mejoras adicionales podrían generar resultados aún mejores. Una posibilidad es integrar reglas adicionales específicas para ciertos errores. Otra área de crecimiento se refiere a refinar la forma en que generamos candidatos para la corrección.

#Conclusión

En resumen, nuestro trabajo presenta un nuevo método para corregir errores gramaticales en la escritura en ruso producida por hablantes no nativos. Utilizar un modelo de lenguaje entrenado con textos precisos ayuda a abordar estos errores de manera efectiva. El método combina algoritmos fonéticos, reglas sencillas y procedimientos especializados adaptados a tipos específicos de errores.

Los desarrollos futuros pueden llevar a un mejor rendimiento, y esperamos identificar formas de hacer que nuestra técnica sea aún más poderosa. A medida que seguimos probando y refinando nuestro enfoque, es esencial mantener el enfoque en cómo nuestro sistema se compara con los mejores modelos existentes. Creemos que nuestro método tiene el potencial de proporcionar asistencia valiosa a las personas que aprenden ruso y ayudar a mejorar sus habilidades de escritura.