PersuaBot: Una Nueva Era en la Persuasión de Chatbots

La persuasión es importante en muchas áreas, como iniciativas de salud y promoción de causas buenas. Los chatbots diseñados para persuadir pueden ayudar a mejorar estos esfuerzos. Sin embargo, la mayoría de los chatbots necesitan muchos datos de entrenamiento específicos, lo cual puede ser complicado de reunir.

Para solucionar este problema, sugerimos un nuevo método que utiliza modelos de lenguaje grandes (LLMs). Estos modelos tienen una gran flexibilidad y pueden ser Persuasivos en varios temas sin necesitar datos de entrenamiento específicos para cada tarea. A diferencia de los métodos anteriores que dependían de Estrategias fijas, nuestro chatbot primero crea Respuestas usando LLMs, identifica los métodos de persuasión utilizados y reemplaza cualquier afirmación no respaldada con hechos verificados.

Creamos un chatbot, llamado PersuaBot, y lo probamos en tres áreas diferentes: solicitudes de donaciones, recomendaciones y intervenciones de salud. En pruebas con conversaciones simuladas y personas reales, encontramos que PersuaBot fue más persuasivo que los chatbots anteriores y proporcionó Información más precisa.

#El papel de las tecnologías persuasivas

Las tecnologías persuasivas tienen como objetivo moldear o cambiar cómo las personas se sienten o actúan. Varios estudios han demostrado que estas tecnologías pueden promover efectivamente el bien social, ayudar con mejoras en salud y mejorar los esfuerzos de marketing. A pesar de su potencial, muchos chatbots persuasivos automatizados aún enfrentan desafíos para proporcionar el mensaje correcto en el momento adecuado, especialmente cuando carecen de datos de entrenamiento diseñados para tareas de persuasión.

Nuestro chatbot, PersuaBot, está diseñado para ser factual, adaptable a los usuarios y adecuado para varios temas.

#Resumen de PersuaBot

Para asegurarnos de que las respuestas sean precisas y persuasivas, PersuaBot tiene un Módulo de Mantenimiento de Estrategia único. Este módulo hace lo siguiente:

1. Genera una respuesta usando el LLM.
2. Descompone la respuesta en secciones, cada una mostrando una estrategia persuasiva diferente.
3. Verifica la Precisión de cada sección.
4. Si alguna sección carece de respaldo, pide al LLM que aclare la pregunta y recupera hechos de una base de datos para respaldar la estrategia.
5. Finalmente, combina los resultados de todas las secciones para crear la respuesta final.

Los chatbots anteriores a menudo dependían de conversaciones que estaban cuidadosamente etiquetadas y estructuradas, pero esto los hacía menos adaptables. Algunos estudios anteriores han tratado de hacer que los chatbots sean más amigables para los usuarios al entender las personalidades de los usuarios, pero recopilar esta información puede ser complicado.

Se ha encontrado que los LLMs a veces inventan historias, lo que puede dañar su credibilidad. Por ejemplo, un chatbot podría inventar un personaje para persuadir a un usuario, lo que llevaría a una pérdida de confianza si el usuario descubre la verdad. Para contrarrestar esto, algunos métodos han combinado la recuperación de información con LLMs para garantizar la precisión. Pero este enfoque a veces puede perjudicar la persuasión también.

En este documento, mostramos PersuaBot, un chatbot basado en LLM que se enfoca en la precisión primero. Si bien los LLMs pueden ser útiles, también pueden crear información falsa que podría dañar su efectividad. Al garantizar la precisión factual con nuestro método, creemos que podemos mantener las capacidades persuasivas de los chatbots.

#Nuestro enfoque

Las mejoras recientes en los LLMs permiten que detecten las emociones de los usuarios, formulen estrategias adecuadas y respalden las afirmaciones con evidencia. Esta investigación analiza cómo podemos aprovechar al máximo las habilidades persuasivas de los LLMs mientras reducimos la información incorrecta.

Nuestra idea principal es extraer estrategias de las respuestas que provienen de los LLMs y reemplazar cualquier afirmación no verificada con información precisa de nuestra base de datos.

PersuaBot utiliza una serie de pasos, o un flujo de trabajo, que incluye:

• Un Módulo de Manejo de Preguntas que recupera información basada en lo que el usuario pregunta.
• Un Módulo de Mantenimiento de Estrategia que se enfoca tanto en crear respuestas persuasivas como en verificar hechos.

Cada parte de este flujo de trabajo opera sin necesidad de conjuntos de datos específicos para el dominio.

#Módulo de Mantenimiento de Estrategia

En este módulo, el LLM crea una respuesta basada en las instrucciones dadas. Luego la procesamos para asegurarnos de que la información sea precisa mientras mantenemos las estrategias persuasivas.

#Extracción de Estrategia

Para encontrar las estrategias de persuasión en una respuesta, el LLM analiza el historial de la conversación y la descripción de la tarea. Descompone la respuesta en secciones que se alinean con las diferentes estrategias.

Durante este proceso, identificamos qué partes de la respuesta corresponden a qué estrategia, lo que nos permite verificar los hechos de manera precisa.

#Verificación de Hechos y Recuperación de Información

Una vez que identificamos las estrategias, descomponemos cada respuesta en afirmaciones que requieren evidencia. Usando la recuperación de información, extraemos datos relevantes para respaldar estas afirmaciones. Si una sección particular de la respuesta carece de respaldo, en lugar de simplemente eliminarla, usamos evidencia de nuestra base de datos.

Este enfoque ayuda a garantizar que incluso si una estrategia está presente, esté respaldada por información factual.

#Módulo de Manejo de Preguntas

Este módulo se enfoca en recuperar la información necesaria para responder a las preguntas de los usuarios. Juega un papel importante cuando los usuarios hacen consultas específicas. Si un usuario no hace preguntas, pero se involucra en una conversación casual, esta parte se omite.

#Combinando Resultados

Al final del proceso, combinamos la información factual obtenida de nuestros módulos en una respuesta final. Esto ayuda a crear respuestas que son tanto precisas como alineadas con las estrategias de persuasión.

Nuestros experimentos incluyen pruebas en varios dominios como solicitudes de donaciones, recomendaciones y concienciación sobre salud.

#Configuración Experimental

Para validar nuestro sistema, comparamos PersuaBot con otros chatbots, incluyendo uno enfocado en conocimientos y uno persuasivo construido manualmente diseñado para donaciones. Todas las pruebas se realizaron en inglés usando el modelo GPT-3.5-turbo.

#Métricas de Evaluación

Usamos cuatro criterios principales para evaluar la calidad de las conversaciones:

• Persuasión: ¿Cambió la respuesta las creencias del usuario?
• Relevancia: ¿La respuesta fue relevante?
• Naturalidad: ¿La respuesta se sintió natural en contexto?
• Honestidad: ¿El chatbot se presentó de manera honesta y no como humano?

Cada uno de estos criterios se califica en una escala del 1 al 5. El objetivo de la métrica de honestidad es asegurarse de que los chatbots no engañen a los usuarios.

#Conversaciones Simuladas

Para evaluar nuestro método, utilizamos conversaciones simuladas que presentaban diferentes personalidades de usuarios, tanto amigables como escépticas. Esto nos permite ver qué tan bien se desempeña el chatbot en varias situaciones y respuestas.

Nuestros usuarios simulados podían abarcar una amplia gama de actitudes, ayudándonos a entender cuán efectivo se vuelve el chatbot con cada tipo de usuario.

#Resultados de la Evaluación de Calidad Conversacional

Los resultados muestran claramente que PersuaBot tiene puntajes superiores en persuasión en comparación con otros chatbots en todas las tareas probadas. El chatbot no solo mantiene un alto nivel de honestidad, sino que también se mantiene relevante y natural en sus respuestas.

#Experimentos con Usuarios Reales

Además de las conversaciones simuladas, realizamos estudios con usuarios reales donde los participantes interactuaron con los chatbots. Nos enfocamos en la tarea de donación, ya que el chatbot diseñado manualmente estaba limitado a esta área.

En estas conversaciones, se pidió a los usuarios que calificaran los chatbots después de sus interacciones. Nuestros hallazgos mostraron que PersuaBot superó a todos los chatbots base en persuasión y precisión factual.

#Comentarios y Retroalimentación de Usuarios

Después de sus conversaciones, los usuarios proporcionaron comentarios que resaltaron la efectividad de PersuaBot mientras también señalaron áreas de mejora, como evitar la repetitividad y tener cuidado de no engañar a los usuarios con afirmaciones que puedan parecer demasiado personales.

#Estrategias Utilizadas por los LLMs

A través de nuestro estudio, encontramos que los LLMs pueden crear estrategias diversas y relevantes sin necesidad de definiciones predeterminadas. Cada tarea produjo un conjunto único de estrategias, enfatizando la adaptabilidad del chatbot.

#Evaluación Automática

Utilizar LLMs para evaluar la calidad de las conversaciones demostró ser eficiente. Estos modelos avanzados demostraron mayor efectividad en el manejo de texto en comparación con métodos automatizados tradicionales.

#Consideraciones Éticas

La persuasión es una herramienta poderosa con tanto potencial positivo como negativo. Para evitar la manipulación, nos aseguramos de que nuestro chatbot no use contenido dañino. Nuestro chatbot evalúa sus conversaciones para evitar presentar información engañosa. Buscamos que PersuaBot sea una fuerza para el bien a través de un uso responsable y ético, mejorando el cambio positivo mientras minimizamos la desinformación.

#Conclusión

Hemos demostrado que es posible crear un chatbot factual y persuasivo sin perder la capacidad de persuasión del LLM de manera cero-shot. Al extraer estrategias y fundamentarlas en información precisa, nuestro enfoque permite interacciones de alta calidad con los usuarios.

Los resultados de las pruebas tanto simuladas como con usuarios reales confirman la efectividad de PersuaBot, demostrando su superioridad en factualidad y persuasión sobre métodos existentes. Nuestro sistema proporciona una solución confiable para crear chatbots efectivos adecuados para diferentes contextos y usuarios.