Mejorando el asesoramiento entre compañeros a través de retroalimentación automatizada

Entrenar a consejeros pares, especialmente a los que recién empiezan, es súper importante para apoyar a personas con problemas de salud mental. Una forma clave de apoyar su desarrollo es ofreciendo práctica realista y retroalimentación específica sobre sus habilidades de consejería. Actualmente, la retroalimentación para los consejeros pares viene principalmente de supervisores experimentados, lo cual puede ser lento y costoso. Esto crea una brecha, ya que muchos consejeros principiantes no reciben las ideas detalladas que necesitan para mejorar. Nuestro objetivo es llenar esta brecha utilizando grandes modelos de lenguaje para ofrecer retroalimentación personalizada y contextual que ayude a los consejeros pares a crecer en sus roles.

#El Problema

Los consejeros pares juegan un papel vital en brindar apoyo emocional a las personas. Sin embargo, muchos principiantes en este campo luchan por obtener la retroalimentación de alta calidad que necesitan para mejorar sus habilidades. A menudo, no tienen suficiente orientación de mentores, lo que puede llevar a prácticas de consejería deficientes. Esto puede ser un gran problema porque la consejería entre pares es un recurso crucial para muchas personas que buscan ayuda. Por lo tanto, es esencial encontrar una manera de proporcionar retroalimentación detallada a un gran número de consejeros novatos de manera eficiente.

#Nuestro Enfoque

Para abordar este problema, recurrimos a grandes modelos de lenguaje (LLMs) para ver si podían ser utilizados para proporcionar retroalimentación más efectiva para los consejeros pares. Nuestro enfoque implica trabajar de cerca con supervisores de psicoterapia experimentados para desarrollar un marco estructurado para ofrecer retroalimentación. Esto nos permitirá automatizar el proceso de retroalimentación mientras aseguramos que refleje los tipos de ideas que los supervisores suelen proporcionar.

#Co-Diseñando el Marco de Retroalimentación

Empezamos entrevistando a supervisores senior que entrenan a consejeros novatos. A través de estas discusiones, identificamos los aspectos clave de la retroalimentación que son necesarios para un entrenamiento efectivo. Realizamos sesiones en profundidad donde los supervisores daban retroalimentación sobre transcripciones de consejería reales. Esto nos ayudó a entender cómo evalúan las sesiones de consejería y qué consejos específicos ofrecen a los nuevos consejeros.

Los supervisores destacaron que la retroalimentación suele comenzar con refuerzo positivo, seguida de un análisis detallado de lo que salió bien y lo que podría mejorarse. Enfatizaron que las respuestas deben alinearse con los objetivos de la sesión de consejería. Basándonos en sus ideas, creamos un marco de retroalimentación de múltiples niveles que captura su enfoque para dar retroalimentación.

#Componentes del Marco de Retroalimentación

Nuestro marco de retroalimentación de múltiples niveles consta de varios componentes esenciales:

1. Adecuación: Esto indica si la respuesta de un consejero se ajusta bien al contexto y se adhiere a las mejores prácticas en escucha activa. Si se considera adecuada, no se necesita más retroalimentación.

2. Objetivo y Alineación: En la consejería entre pares, cada respuesta debe tener un propósito. Este componente especifica cuál debería ser el objetivo del consejero en cualquier punto de la conversación y cómo pueden ajustar su respuesta para cumplir mejor con ese objetivo.

3. Áreas de Mejora: Esta parte destaca categorías específicas donde el consejero puede mejorar sus habilidades. Identificamos ocho categorías relevantes, incluyendo reflexiones, preguntas, sugerencias, validación, auto-divulgación, empatía, profesionalismo y estructura.

4. Respuesta Alternativa Alineada con el Objetivo: Aquí sugerimos una nueva respuesta que se ajuste mejor a los objetivos de la consejería y aborde las áreas de mejora destacadas anteriormente.

5. Refuerzo Positivo: Este componente opcional refuerza lo que el consejero hizo bien, animándolos a seguir utilizando estrategias efectivas.

Nuestro marco es único porque no solo evalúa las respuestas del consejero, sino que también proporciona sugerencias concretas para mejorar mientras mantiene un enfoque en los objetivos de la consejería.

#Conjunto de Datos para Entrenamiento

Para desarrollar nuestro sistema de retroalimentación automatizada, necesitábamos un conjunto de datos de conversaciones de consejería para anotar con retroalimentación utilizando nuestro marco. Después de considerar cuidadosamente los recursos disponibles, elegimos un conjunto de datos de conversaciones de apoyo emocional disponible públicamente. Filtramos cuidadosamente este conjunto de datos para asegurarnos de que las conversaciones fueran relevantes para la consejería entre pares.

Dividimos el conjunto de datos en tres partes: una para anotaciones de retroalimentación detalladas, una para obtener preferencias auto-evaluadas y un conjunto de prueba. Las anotaciones de retroalimentación se crearon utilizando un enfoque de co-anotación modelo-en-bucle, que involucró tanto un gran modelo de lenguaje como expertos en la materia trabajando juntos para asegurar retroalimentación de alta calidad.

#Colaborando con Expertos en la Materia

Para asegurar la calidad de nuestras anotaciones, colaboramos con expertos en la materia que tienen amplia experiencia en el campo de la salud mental. Seleccionamos expertos basándonos en sus calificaciones y realizamos un estudio piloto para validar sus habilidades de anotación. Después de esto, redujimos nuestro equipo a dos expertos que consistentemente producían retroalimentación de alta calidad.

A lo largo de este proceso, nos aseguramos de que los expertos estuvieran bien informados sobre el marco y lo que se esperaba de ellos. Trabajaron en anotar más de 400 conversaciones, aplicando los componentes de retroalimentación de múltiples niveles a cada respuesta del consejero.

#Método de Auto-Mejora

Un aspecto importante de nuestro enfoque es el uso de un método de auto-mejora para mejorar la calidad de la retroalimentación generada por nuestro modelo. Este método permite que el modelo evalúe su propio rendimiento y mejore su generación de retroalimentación con el tiempo.

#El Mecanismo de Auto-Evaluación

El primer paso en el método de auto-mejora es generar respuestas alternativas para una declaración dada del consejero. Al reemplazar la respuesta original con una alternativa y verificar cómo es recibida, el modelo puede evaluar la calidad de su propia retroalimentación. El modelo asigna una puntuación a cada respuesta alternativa, indicando su probabilidad de ser apropiada.

#Creando Pares de Preferencias

Usando el mecanismo de auto-evaluación, formamos pares de respuestas preferidas y menos preferidas. Si la respuesta original del consejero tiene una puntuación baja, lo que indica margen de mejora, identificamos las mejores y peores alternativas para crear pares de preferencias. Estos pares ayudan a refinar el proceso de generación de retroalimentación guiando al modelo hacia mejores respuestas.

#Alineando el Modelo

Después de generar los pares de preferencias, alineamos el modelo utilizando una técnica llamada Optimización de Preferencias Directas (DPO). Este método anima al modelo a aprender de ejemplos de alta calidad mientras evita los de baja calidad, resultando en una mejor retroalimentación con el tiempo.

#Evaluación de la Calidad de la Retroalimentación

Para evaluar la calidad de la retroalimentación generada por nuestro modelo, realizamos evaluaciones exhaustivas contra modelos base. Usamos tanto métodos de puntuación automáticos como calificaciones de expertos para comparar la retroalimentación generada.

#Comparando con Modelos Base

Recopilamos retroalimentación de varios modelos y analizamos su rendimiento en términos de puntuaciones de calidad. Nuestros resultados mostraron que nuestro modelo superó a los modelos base, particularmente en los peores escenarios donde la retroalimentación podría ser engañosa o dañina. Este fue un hallazgo crítico, ya que proporcionar una retroalimentación deficiente puede tener serias implicaciones en contextos de consejería.

#Evaluación de Expertos

Además de las puntuaciones automáticas, buscamos el juicio de expertos en la materia para evaluar la calidad de la retroalimentación basada en diferentes aspectos. La retroalimentación generada por nuestro modelo coincidió estrechamente con la calidad producida por expertos humanos, particularmente en áreas como adecuación y utilidad.

Los expertos también pudieron distinguir efectivamente la retroalimentación de alta calidad de las respuestas de menor calidad, validando aún más el rendimiento de nuestro modelo.

#Perspectivas y Direcciones Futuras

El desarrollo de un modelo que puede generar retroalimentación de múltiples niveles tiene el potencial de transformar cómo se entrenan los consejeros pares. Al automatizar el proceso de retroalimentación, podemos hacer que la capacitación de alta calidad sea más accesible para los consejeros novatos en diferentes entornos.

#Limitaciones

Si bien nuestro modelo muestra promesas, es esencial reconocer algunas limitaciones. El marco de retroalimentación que creamos no es exhaustivo y puede no cubrir todas las dimensiones posibles relevantes para la consejería entre pares. Además, la retroalimentación no está personalizada para los consejeros individuales, lo cual es un aspecto importante de la supervisión tradicional.

#Consideraciones Éticas

A medida que avanzamos, las consideraciones éticas deben estar al frente de nuestro trabajo. La retroalimentación que proporcionamos debe ser vista como una guía y no como una directiva absoluta. Se debe alentar a los consejeros a evaluar críticamente la retroalimentación antes de incorporarla a su práctica. También buscamos implementar un proceso de consentimiento que informe a los usuarios sobre los riesgos potenciales de utilizar un sistema de retroalimentación automatizado.

#Trabajo Futuro

De cara al futuro, continuaremos refinando nuestro modelo y explorando maneras de personalizar la retroalimentación. La participación de una gama más amplia de expertos en la materia también puede ayudar a moldear mejor la retroalimentación para diferentes contextos. Además, investigaremos cómo escalar este enfoque para alcanzar a aún más consejeros novatos que podrían beneficiarse de métodos de capacitación mejorados.

#Conclusión

Nuestro trabajo presenta un enfoque innovador para capacitar a consejeros pares novatos a través del uso de grandes modelos de lenguaje y un marco estructurado de retroalimentación. Al automatizar el proceso de retroalimentación, buscamos empoderar a los consejeros para mejorar sus habilidades y brindar un mejor apoyo a las personas que lo necesitan. Aunque quedan desafíos, el potencial para impactar positivamente la capacitación en consejería entre pares es significativo.