RACER: Una nueva herramienta para analizar entrevistas en el ámbito de la salud

Las entrevistas semiestructuradas (SSIs) son una forma popular de recopilar información en la investigación del cuidado de la salud. Proporcionan profundos conocimientos sobre las experiencias de las personas. Sin embargo, analizar estas entrevistas a mano puede llevar mucho tiempo y esfuerzo. Un gran desafío es identificar y clasificar las Respuestas emocionales de los sujetos. Además, a medida que aumenta la población, se vuelve más difícil evaluar estas entrevistas manualmente.

Este artículo habla de un nuevo método llamado RACER, que utiliza tecnología de lenguaje avanzada para ayudar a analizar estas entrevistas más rápido y de manera más eficiente. Probamos RACER en entrevistas con 93 trabajadores de la salud para ver cómo la pandemia de COVID-19 afectó su salud mental, tanto a nivel personal como profesional.

#Beneficios de las Entrevistas Semiestructuradas

Las entrevistas semiestructuradas ofrecen un formato flexible que permite a los entrevistadores hacer preguntas específicas mientras siguen la conversación según las respuestas dadas. Este estilo crea un flujo más natural en la conversación, lo que anima a los entrevistados a compartir sus pensamientos y experiencias de manera más abierta. Es especialmente útil al discutir temas sensibles como la salud mental.

Estas entrevistas ayudan a construir confianza entre el entrevistador y el sujeto, lo que facilita que este último hable sobre cuestiones difíciles. La naturaleza abierta de las preguntas de seguimiento permite a los sujetos expresar sus sentimientos y pensamientos con más libertad. Esta profundidad de información puede perderse en encuestas estándar que proporcionan respuestas fijas.

#Desafíos del Análisis Manual

A pesar de las ventajas, analizar manualmente las SSIs es laborioso. Los investigadores a menudo enfrentan dificultades para extraer contenido emocional, categorizarlo y sacar conclusiones significativas. Este proceso puede agotar recursos y limitar la capacidad de analizar grupos más grandes de manera efectiva.

La introducción de Modelos de Lenguaje Grandes (LLMs), que son sistemas avanzados diseñados para entender y generar lenguaje humano, ofrece una nueva forma de abordar estos desafíos. Sin embargo, hay límites a su efectividad, especialmente en lo que respecta a respuestas emocionales complejas.

#¿Qué es RACER?

RACER es una nueva herramienta que utiliza LLMs para optimizar el análisis de SSIs. Convierte transcripciones de entrevistas crudas en temas y subtemas organizados que destacan los conocimientos más relevantes. El objetivo de RACER es hacer que el proceso de análisis sea más rápido y preciso, especialmente para investigar temas sensibles como la salud mental.

El desarrollo de RACER implicó analizar entrevistas realizadas con profesionales de la salud y aprendices sobre sus experiencias durante la pandemia de COVID-19. Los resultados de RACER mostraron un sólido acuerdo con evaluadores humanos, lo que indica su fiabilidad en la extracción de datos significativos.

#Metodología

RACER sigue un proceso estructurado que involucra cuatro pasos principales:

1. Recuperar: Primero, el sistema extrae respuestas relevantes de las transcripciones de SSIs según cada pregunta.

2. Agregación: Luego, combina respuestas de todos los sujetos para cada pregunta y obtener una visión general.

3. Agrupamiento con Orientación de Expertos: Después, el sistema organiza las respuestas en temas, guiado por ideas de expertos para asegurar que los grupos sean relevantes.

4. Reagrupamiento: Finalmente, los datos se reorganizan múltiples veces para garantizar la precisión y crear grupos que mejor representen las respuestas recopiladas.

#Recolección de Datos

El estudio se centró en un grupo diverso de profesionales de la salud y aprendices. Los participantes incluían doctores, enfermeras y estudiantes de medicina, y la reclutación se realizó utilizando un método de muestreo en bola de nieve. En este enfoque, se les preguntó a los individuos si conocían a otros dispuestos a compartir sus experiencias relacionadas con la pandemia de COVID-19.

Las entrevistas se llevaron a cabo en línea, usando una lista de 41 preguntas que abordaban demografía, experiencias personales durante la pandemia y respuestas emocionales. Cada entrevista duró aproximadamente entre 26 a 27 minutos.

Una vez grabadas las entrevistas, se transcribieron utilizando software automatizado. Se prepararon un total de 93 transcripciones para análisis después de tener en cuenta algunas pérdidas de datos.

#Resultados de las Entrevistas

Las entrevistas proporcionaron valiosos conocimientos sobre cómo se sintieron los trabajadores de la salud durante la pandemia. La mayoría de los entrevistados reportaron contacto personal con pacientes de COVID-19 y expresaron preocupaciones significativas sobre su seguridad y la de sus familias. Compartieron una variedad de medidas de protección tomadas, incluyendo prácticas de higiene mejoradas y limitación de interacciones sociales.

Muchos trabajadores también mencionaron el desgaste físico y emocional, como agotamiento y trastornos del sueño. La mayoría se sintió adecuadamente preparada para manejar los desafíos que presentó la pandemia, atribuyendo su preparación a su formación y experiencia médica.

Las horas de trabajo aumentaron para los profesionales de la salud, con muchos registrando más de 40 horas a la semana debido al aumento de pacientes. Los cambios en la atención al paciente fueron evidentes, con muchos reportando un cambio en cómo manejaban los casos, a menudo confiando más en la tecnología y alterando los planes de tratamiento debido a COVID-19.

Los estudiantes y aprendices tenían sentimientos mixtos sobre las respuestas de sus instituciones educativas a la pandemia. Algunos se sintieron apoyados, mientras que otros expresaron preocupaciones sobre la adecuación de las medidas implementadas.

#Impacto Emocional y Psicológico

Los efectos emocionales de la crisis fueron profundos. Muchos profesionales de la salud reportaron un aumento en los sentimientos de ansiedad, estrés y tristeza. Curiosamente, algunos también expresaron gratitud y esperanza por el futuro, indicando una mezcla de emociones positivas y negativas durante este tiempo.

El apoyo de compañeros y familiares surgió como una fuente vital de fortaleza para muchos. Sin embargo, alrededor de una cuarta parte de los participantes mencionó enfrentar problemas en casa, posiblemente debido al estrés exacerbado por la pandemia.

Al preguntar sobre el agotamiento, la mayoría de los sujetos calificaron su nivel de agotamiento antes de la pandemia como bajo o leve. Sin embargo, los informes de agotamiento severo aumentaron durante la pandemia, destacando la carga psicológica que enfrentaron los trabajadores de la salud. La mayoría indicó que buscaría ayuda si se sentía agotado, pero algunos expresaron preocupaciones sobre encontrar barreras, como el estigma.

#Consideraciones Futuras

De cara al futuro, más de la mitad de los entrevistados estaban preocupados por los desafíos continuos, incluyendo riesgos para la salud e inestabilidad económica. Muchos expresaron esperanza por cambios positivos en las prácticas y sistemas de salud como resultado de las lecciones aprendidas durante la pandemia.

Los estudiantes reflexionaron sobre cómo la pandemia impactó sus elecciones de especialidad y formación. Algunos mencionaron reconsiderar sus trayectorias profesionales mientras navegaban las realidades de trabajar en un entorno afectado por la pandemia.

#Análisis y Hallazgos

La introducción de RACER ha demostrado el potencial de los LLMs para analizar datos complejos de manera eficiente. El sistema mostró un alto grado de acuerdo con evaluadores humanos, subrayando su capacidad para revelar ideas importantes a partir de un gran conjunto de datos cualitativos.

Sin embargo, aún quedan desafíos, particularmente en el procesamiento de contenido emocional matizado. Tanto RACER como los evaluadores humanos exhibieron dificultades similares en estas áreas, lo que señala la importancia de la supervisión humana en la interpretación de los resultados.

El estudio también destacó la consistencia de RACER en producir asignaciones de grupos fiables, mostrando su valor en el manejo de grandes conjuntos de datos donde el análisis manual sería impracticable.

#Limitaciones del Estudio

Si bien RACER ofrece una herramienta innovadora para analizar SSIs, tiene limitaciones. Por ejemplo, el modelo tuvo dificultades para agrupar respuestas al tratar con declaraciones emocionales complejas o ambiguas. Esto indica la necesidad de la experiencia humana para ayudar a contextualizar e interpretar los hallazgos.

Además, aunque los LLMs ofrecen eficiencia, pueden carecer de transparencia en los métodos utilizados para derivar conclusiones. Los evaluadores humanos a menudo tienen una comprensión más clara de cómo categorizan las respuestas, lo que es crucial para agregar profundidad contextual.

Los hallazgos sugieren que tanto la inteligencia humana como el aprendizaje automático tienen un papel que desempeñar. Los expertos humanos pueden mejorar el proceso proporcionando orientación sobre las definiciones temáticas y resolviendo ambigüedades en los datos.

#Direcciones Futuras

De cara al futuro, está claro que utilizar LLMs como RACER puede acelerar significativamente el Análisis de datos cualitativos. El estudio enfatiza la importancia de establecer pautas y marcos claros para evaluar los resultados, permitiendo así resultados más fiables.

La capacitación es esencial, tanto para los entrevistadores que realizan SSIs como para aquellos que evalúan los resultados. Desarrollar mejores métodos para validar los resultados de LLMs ayudará a construir confianza en los sistemas automatizados y mejorar su aplicación en áreas críticas como el cuidado de la salud.

En resumen, aunque existen desafíos, el uso de LLMs en el análisis de datos cualitativos presenta una valiosa oportunidad para mejorar nuestra comprensión de temas complejos, especialmente en tiempos de crisis como la pandemia de COVID-19.