Mejorando los modelos de tabla a texto a través de la corrección de entrada

Los modelos neuronales que convierten tablas en texto a menudo cometen errores, produciendo afirmaciones incorrectas. Estos errores, conocidos como "Alucinaciones", ocurren porque los datos de entrada no siempre son claros o están bien organizados. En nuestro estudio, analizamos cómo arreglar estos problemas de entrada puede llevar a mejores salidas de estos modelos.

Revisamos 1,837 textos creados por varios modelos en la sección de política de un conjunto de datos llamado ToTTo. Al examinar estos textos, encontramos que muchos errores en la salida provenían de problemas en los datos de entrada. Después de corregir estos problemas de entrada, notamos una caída significativa en el número de errores, con errores reducidos hasta en un 76%, dependiendo del modelo específico utilizado.

#¿Qué es la Generación de texto a partir de tablas?

La generación de texto a partir de tablas es el proceso de crear descripciones escritas a partir de datos tabulares. Esta técnica se utiliza en varios campos como medicina, finanzas, informes meteorológicos y resúmenes deportivos. Aunque estos modelos de lenguaje generan texto fluido, a veces producen resultados que son factualmente incorrectos. Estas instancias a menudo surgen de datos de tabla poco claros o mal organizados, lo que lleva a confusión para los modelos.

#Trabajo Anterior sobre Tareas de Tabla-a-Texto

La mayoría de los estudios anteriores se centraron en usar métodos tradicionales de secuencia a secuencia (seq2seq) para convertir tablas en texto. Recientemente, se han empleado modelos más avanzados conocidos como modelos basados en Transformadores, ya que mostraron promesa en tareas de generación de lenguaje. Sin embargo, convertir datos de tabla todavía presenta desafíos, particularmente cuando los datos no están estructurados claramente con etiquetas adecuadas para filas y columnas.

#Identificando Problemas de Entrada

Utilizando el conjunto de datos ToTTo, identificamos problemas comunes de entrada que llevaron a errores fácticos en el texto generado. Algunos problemas típicos incluían:

1. Valores de Celdas No Atómicos: Esto ocurre cuando una sola celda de tabla contiene múltiples piezas de información. Por ejemplo, si una celda incluye el nombre de un líder, el partido y el porcentaje de votos todo en uno, puede confundir al modelo.

2. Faltan Valores Importantes: A veces, información crucial se omite de la entrada, lo que puede llevar a salidas incorrectas.

3. Estructuras de Tabla Complejas: Las tablas con encabezados anidados pueden confundir a los modelos porque complican el mapeo de valores a sus respectivos encabezados.

#Ejemplos de Problemas de Entrada

Veamos cómo se desarrollan estos problemas en ejemplos reales:

• En un caso, una tabla incluía una celda con el nombre de un líder y su porcentaje de votos combinados. Este formato no atómico llevó al modelo a producir afirmaciones incorrectas sobre cuántos votos recibió un líder.

• Otro ejemplo involucró una tabla donde ciertas celdas, como el porcentaje de votos, no estaban resaltadas y, por lo tanto, no se pasaron al modelo. Esto resultó en errores fácticos porque al modelo le faltaba información esencial para generar una descripción precisa.

#Anotación Manual de Errores

Para evaluar la calidad de los textos generados, anotamos manualmente los textos generados en lugar de confiar en sistemas de puntuación automáticos. Analizamos muestras del conjunto de datos ToTTo, centrando en identificar patrones de errores en el texto generado. Este enfoque manual nos ayudó a rastrear muchos errores de salida de nuevo a los problemas de entrada identificados anteriormente.

#Enfoque para la Mejora

Corregimos sistemáticamente las entradas tabulares en la sección de política de ToTTo. Las correcciones involucraron varios pasos:

1. Identificación de Celdas No Atómicas: Dividimos celdas complejas en valores atómicos más simples para asegurarnos de que cada pieza de información fuera clara.

2. Agregar Valores Faltantes: Aseguramos que toda la información clave estuviera incluida en los datos de entrada.

3. Simplificar Estructuras Complejas: Reestructuramos tablas complicadas para proporcionar datos más claros a los modelos.

#Resultados Después de las Correcciones

Después de aplicar estas correcciones, realizamos experimentos con dos tipos de modelos: T5 y Llama. Para los modelos T5, encontramos que corregir la entrada llevó a una reducción significativa en los errores, con T5-base mostrando una disminución del 62% en errores fácticos, y T5-large mostrando una disminución del 57%.

De manera similar, los modelos Llama demostraron mejoras, con Llama 2-7B y Llama 2-13B logrando reducciones del 52% y 76% en errores, respectivamente. Esto indica que una mejor organización de la entrada se correlaciona directamente con una mayor precisión en la salida.

#Tipos de Errores Analizados

Nuestro análisis clasificó los varios errores en tipos, tales como:

• Errores de PALABRA: Estos son errores en el uso de verbos, adjetivos u otras partes del discurso que no se alinean con la entrada.

• Errores de NOMBRE: Ocurren cuando un nombre o título es incorrecto en el texto generado.

• Errores de NÚMERO: Suceden cuando los valores numéricos, como recuentos de votos o porcentajes, son inexactos.

• Errores de CONTEXTO: Estos ocurren cuando la salida hace suposiciones no sustentadas basadas en los datos de entrada.

• Errores de ADICIÓN: Resultan de que el modelo agrega información que no está presente en la entrada.

#Desafíos con los Datos de Entrada

A pesar de nuestras correcciones, algunos problemas persistieron en las salidas:

• Datos Complejos: Para tablas con estructuras intrincadas, incluso después de las correcciones, los modelos a veces lucharon para producir texto preciso. Esto fue particularmente cierto cuando los modelos necesitaban más contexto para transmitir el significado correcto.

• Nombres de Líderes: Cuando los datos de entrada incluían múltiples candidatos, los modelos tendían a favorecer al primero mencionado, lo que podría llevar a errores en la salida.

#Procedimientos de Corrección Manual

Creamos un procedimiento paso a paso para arreglar los problemas de entrada. Esto incluía:

1. Separar Valores No Atómicos: Aseguramos que cada pieza de datos relacionada con los candidatos se almacenara en su propia columna. Por ejemplo, en lugar de tener múltiples líderes en una celda, dividimos los detalles en columnas individuales.

2. Actualizar Encabezados: Aseguramos que los encabezados de columna fueran lo suficientemente informativos para que los modelos entendieran a qué datos se referían.

3. Abordar Valores Faltantes: Aseguramos que todos los datos relevantes estuvieran resaltados e incluidos en la entrada.

#Experimentos con los Modelos

Probamos tanto las entradas corregidas como las originales en nuestros modelos. Los resultados resaltaron las diferencias significativas en el rendimiento:

• Antes de las correcciones, los modelos generaron numerosos errores.
• Después de implementar nuestras correcciones, observamos una mejora notable en la precisión de sus salidas.

#Mayor Precisión con Entradas Corregidas

Nuestros experimentos mostraron claramente que corregir problemas de entrada lleva a salidas mucho más fácticas. Por ejemplo, al probar con nuestros datos corregidos, vimos una caída considerable en los errores relacionados con la elección de palabras, precisión de nombres, representación numérica y comprensión del contexto.

#Mirando Hacia Adelante

Aunque nuestro estudio destacó la importancia de datos de entrada limpios y claros para mejorar la precisión de la salida, también reconocimos áreas para la exploración futura. Por ejemplo, planeamos investigar tablas más complejas y otros conjuntos de datos para refinar aún más nuestros métodos.

Además, buscamos simplificar las categorías de errores en nuestras anotaciones para facilitar la comprensión de dónde luchan los modelos. Esto podría brindar mejores ideas sobre cómo mejorar aún más el entrenamiento de los modelos.

#Conclusión

Al centrarnos en arreglar problemas de entrada en modelos de generación de texto a partir de tablas, hemos demostrado que es posible mejorar significativamente la precisión fáctica de los textos generados. A medida que continuamos refinando nuestros enfoques y analizando conjuntos de datos adicionales, esperamos contribuir a sistemas de generación de lenguaje natural más confiables en el futuro.