Racionalizaciones en el Ranking de Argumentos por Modelos de Lenguaje

Los Modelos de Lenguaje Grande (LLMs) se han vuelto buenos generando explicaciones en texto libre, llamadas racionales, para respaldar sus decisiones. Estas racionales son importantes porque pueden ayudar a los usuarios a entender por qué el modelo tomó cierta decisión. Recientemente, ha habido mucho interés en cómo se pueden usar estas racionales en tareas donde las respuestas no son claras o son un hecho. Este estudio se centra en las racionales en situaciones donde las opiniones importan, enfocándose en una tarea específica llamada clasificación de argumentos por pares. Esta tarea implica comparar dos argumentos sobre el mismo tema y decidir cuál es más fuerte.

#Importancia de las Racionales

Cuando los modelos dan racionales, le añaden claridad y confianza a sus decisiones. Esto es especialmente útil en áreas como el apoyo a debates, donde entender la razón detrás de un argumento es crucial. Al dar razones persuasivas por sus elecciones, los LLMs pueden ser más efectivos y fiables en varias aplicaciones.

#La Tarea de Clasificación de Argumentos por Pares

En la clasificación de argumentos por pares, un modelo observa dos argumentos que tienen la misma posición o punto de vista sobre un tema y selecciona el mejor. Luego, el modelo genera una racional explicando su elección. Esta tarea es subjetiva, lo que significa que las personas pueden no estar de acuerdo sobre cuál argumento es superior. Dada la naturaleza subjetiva de esta tarea, vamos a evaluar cuán persuasivas son las racionales generadas.

#Preguntas de Investigación

Para guiar este estudio, planteamos varias preguntas importantes:

• ¿Cómo se comparan los diferentes LLMs en generar racionales persuasivas?
• ¿Podemos averiguar automáticamente cuáles racionales son más persuasivas?
• ¿Qué características de una racional la hacen más convincente?
• ¿Podemos hacer que las racionales generadas por los modelos sean más persuasivas?

#Metodología

Le pedimos a varios LLMs que realicen clasificación por pares sin ningún entrenamiento previo (cero disparos) y que proporcionen racionales para sus elecciones. También usamos evaluaciones humanas para juzgar la persuasividad de las racionales y examinamos formas de mejorar sus cualidades persuasivas.

#Selección de LLMs

Analizamos varios LLMs, incluyendo algunos de código abierto y otros de código cerrado. Los modelos de código abierto incluyeron versiones populares como Llama2, mientras que los modelos de código cerrado incluyeron la conocida serie GPT. Utilizamos diferentes versiones de los modelos para ver si el tamaño y el entrenamiento hacían una diferencia en la habilidad persuasiva de las racionales generadas.

#Preparación de Datos

Para evaluar las racionales, usamos dos Conjuntos de datos principales que contenían pares de argumentos. El primer conjunto de datos, IBM-ArgQ-9.1kPairs, tenía pares de argumentos sobre varios temas, mientras que el segundo conjunto de datos, IBM-30k, incluía argumentos cada uno clasificado por calidad. De estos conjuntos de datos, filtramos y seleccionamos pares de argumentos para análisis, asegurándonos de enfocarnos en ejemplos de alta calidad.

#Etapas de Evaluación

Nuestro proceso de evaluación constó de tres etapas clave:

1. Evaluación Básica: Comprobamos las racionales para ver si eran claras y coherentes. Si una racional no tenía sentido o repetía el argumento sin agregar nada nuevo, se ignoraba.

2. Evaluación de Contenido: Aquí, miramos la sustancia de la racional. Analizamos si la racional ofrecía puntos de vista contrastantes sobre los argumentos y si introducía nuevas ideas.

3. Evaluación de Persuasividad: Esta etapa final evaluó cuán convincentes eran las racionales. Pedimos a revisores humanos que calificaran las racionales en comparaciones por pares, lo que nos permitió determinar cuál era más persuasiva.

#Hallazgos

#Desempeño General

Nuestros resultados mostraron que Llama2-70B-chat generó las racionales más persuasivas, superando incluso a los conocidos modelos GPT. Esto resalta el potencial de los modelos de código abierto para generar explicaciones efectivas para sus decisiones.

#Clasificaciones Humanas y Automáticas

En la mayoría de los casos, GPT4 coincidió estrechamente con las clasificaciones humanas de las racionales, aunque tuvo algunas discrepancias en casos donde las racionales eran similares en calidad. Esto indica que, aunque las evaluaciones automáticas pueden ser útiles, el juicio humano sigue jugando un papel importante en la evaluación de la persuasividad.

#Características Clave de la Persuasividad

Identificamos varias características que contribuyeron a la persuasividad de las racionales. La característica más importante fue el contraste. Las racionales que explicaban por qué un argumento era más fuerte que su contraparte fueron significativamente más persuasivas. La longitud también importaba; las racionales más largas que brindaban un apoyo detallado para la elección del modelo solían ser más convincentes.

#Mejora de la Persuasividad

Para mejorar la persuasividad de las racionales, probamos métodos como volver a pedir a los modelos que se centraran en el contraste y el detalle. Esta técnica mejoró la persuasividad de las salidas de modelos que inicialmente tenían dificultades para generar racionales atractivas. Sin embargo, incluso con estas mejoras, los resultados aún se quedaron cortos en comparación con las salidas generadas por modelos más avanzados.

#Conclusión y Direcciones Futuras

Este estudio ofrece valiosas ideas sobre las habilidades persuasivas de las racionales producidas por varios LLMs. Los hallazgos sugieren que los modelos de código abierto, específicamente Llama2-70B-chat, pueden crear racionales persuasivas que son prácticamente útiles para tareas subjetivas. Se enfatizó la importancia del contraste en las racionales, junto con el potencial para mejorar las salidas a través de técnicas de solicitud específicas.

El trabajo futuro investigará la aceptación de argumentos generados por modelos por parte de los usuarios y explorará otras tareas subjetivas donde entender el razonamiento es crítico. También buscamos considerar factores adicionales que puedan influir en las racionales, buscando una comprensión más profunda de cómo diferentes modelos respaldan sus elecciones.

A medida que continuamos esta investigación, es crucial mantenernos conscientes de las implicaciones éticas de las racionales persuasivas, especialmente en cómo pueden influir en la toma de decisiones y el potencial de abuso.

#Consideraciones Éticas

Si bien las racionales persuasivas pueden mejorar la transparencia y la aceptación del usuario, también conllevan el riesgo de ser utilizadas para respaldar argumentos sesgados o falsos. Es esencial desarrollar prácticas responsables para implementar estos modelos y prevenir cualquier daño potencial.

#Resultados sobre la Calidad del Conjunto de Datos

Un análisis de nuestros conjuntos de datos mostró que el número de acuerdos entre modelos disminuye con la inclusión de más modelos. Esto refuerza la idea de que algunos modelos pueden no alinearse tan bien al evaluar la calidad de los argumentos, requiriendo una cuidadosa curaduría de los conjuntos de datos utilizados para la evaluación.

En resumen, nuestro estudio confirma que, aunque hay variaciones entre los LLMs en generar racionales persuasivas, algunos modelos muestran un gran potencial para apoyar tareas de toma de decisiones subjetivas. Una investigación adicional sobre los factores que contribuyen a racionales efectivas será beneficiosa a medida que el campo continúe evolucionando.