Adaptando DeBERTa para Registros Electrónicos de Salud

Recientemente, se ha trabajado mucho en cómo usar mejor los Modelos de lenguaje para ayudar en tareas relacionadas con los registros electrónicos de salud (EHR). Nuestro enfoque está en cómo podemos adaptar un modelo específico llamado DeBERTa para trabajar con tareas de EHR. Queremos ver si esto puede mejorar nuestra capacidad para predecir Resultados para pacientes en departamentos de urgencias.

#El Modelo DeBERTa y los Conjuntos de Datos

Para empezar, entrenamos una versión más pequeña del modelo DeBERTa en un conjunto de datos compuesto por resúmenes de alta, notas clínicas, informes de radiología y resúmenes médicos. Este conjunto de datos provino de MIMIC-III, que contiene un montón de registros de salud. Comparamos el rendimiento de nuestro modelo con otro modelo similar llamado MeDeBERTa, que había sido preentrenado en textos clínicos de nuestra institución de salud. También lo comparamos con XGBoost, que es otro modelo usado comúnmente para datos tabulares.

Evaluamos los modelos en tres tareas clave relacionadas con los resultados de los pacientes en departamentos de urgencias. Esta evaluación se realizó usando otro conjunto de datos conocido como MIMIC-IV-ED. Antes de crear estos modelos, tuvimos que convertir los datos en un formato de texto. Durante este proceso, creamos cuatro versiones diferentes de los conjuntos de datos originales para ver cómo la forma en que procesamos los datos podría afectar el rendimiento del modelo.

#Rendimiento y Resultados

Nuestros resultados mostraron que el modelo que propusimos se desempeñó mejor que los otros en dos de las tres tareas, y tuvo un rendimiento similar en la tercera tarea. Un hallazgo clave fue que cuando usamos nombres de columnas más claros en nuestros datos, el rendimiento mejoró en comparación con usar los nombres originales.

El uso de datos tabulares es crítico en muchas situaciones del mundo real. Las tablas son comunes para organizar datos como tráfico de internet, experimentos científicos e información de entornos clínicos. Las técnicas tradicionales de aprendizaje automático a menudo luchan con datos no estructurados, lo que ha llevado a la creación de métodos para convertir estos datos en tablas.

Sin embargo, al convertir datos no estructurados en formatos tabulares, se puede perder información importante. Por ejemplo, en el ámbito de la salud, los datos pueden incluir notas de texto libre sobre medicamentos, enfermedades y resultados de laboratorio. Cuando esta información se procesa en tablas, corre el riesgo de perder el contexto completo que proporciona el texto libre.

#Texto Libre y Datos Tabulares

En nuestro enfoque, investigamos si mantener los datos de texto libre originales podría mejorar el rendimiento de nuestros modelos al predecir resultados. También examinamos varias estrategias para manejar datos numéricos.

Notamos que muchos estudios han empezado a mirar cómo los modelos de lenguaje como BERT pueden adaptarse a datos tabulares tratándolos como cadenas de texto. Varios modelos recientes han mostrado resultados prometedores usando este método, y estamos tratando de construir sobre esta base.

Nuestro trabajo también abordó limitaciones conocidas en el uso de modelos de lenguaje con datos numéricos. Algunos hallazgos anteriores sugirieron que los modelos de lenguaje entrenados para reconocer números solo pueden hacerlo de manera precisa dentro de ciertos rangos. Esta limitación puede llevar a errores significativos cuando se encuentran números fuera de su rango de entrenamiento.

#Entrenamiento y Evaluación del Modelo

Para evaluar la efectividad de nuestro modelo, creamos tareas de referencia diseñadas para predecir los resultados de los pacientes. Por ejemplo, queríamos averiguar si un paciente sería admitido en el hospital después de visitar el departamento de urgencias o si necesitaría atención urgente.

Cada tarea implicó ajustar finamente los modelos por separado, lo que nos permitió medir qué tan bien se desempeñaron. Entrenamos los modelos durante 20 épocas, guardando las mejores versiones según su rendimiento en un conjunto de validación.

Los modelos fueron evaluados usando métricas específicas que indican su precisión en las predicciones. Calculamos el área bajo la curva de características operativas del receptor (AUC) para medir qué tan bien se desempeñó cada modelo. También examinamos el impacto de diferentes técnicas de procesamiento de datos en el rendimiento del modelo.

#Importancia del Procesamiento de Datos

Nuestros hallazgos destacaron la importancia de cómo procesamos los datos. Usar nombres de columnas descriptivos y mantener datos de texto libre mejoró la capacidad del modelo para hacer predicciones correctas. Esto es especialmente crucial en entornos médicos donde los detalles en los registros de pacientes pueden impactar significativamente en su atención.

Al incorporar varias formas de datos, podemos obtener una comprensión más completa de los factores que afectan los resultados de los pacientes. Esta combinación de texto libre y datos tabulados puede llevar a mejores predicciones.

#Aplicaciones Clínicas

Las implicaciones de nuestro trabajo son bastante significativas. Demostramos que incluso modelos de lenguaje pequeños pueden competir con los más grandes, lo que los hace adecuados para entornos como hospitales donde los recursos de computación pueden ser limitados. Un modelo grande como GPT-J requiere mucha memoria, mientras que nuestro modelo adaptado DeBERTa necesita mucho menos.

En términos de valor clínico, entender cuáles características en los datos son más influyentes puede proporcionar información sobre la atención al paciente. Por ejemplo, nuestro análisis mostró que las notas de texto libre sobre los pacientes fueron cruciales para predecir los resultados de hospitalización.

Esta información puede ayudar a los profesionales de la salud a enfocarse en los aspectos correctos de la salud de un paciente para tomar mejores decisiones sobre su atención. Identificar factores de riesgo clave a través de nuestros modelos también puede llevar a tratamientos mejorados para los pacientes, especialmente en la gestión de medicamentos y comprensión de su historial médico.

#Avanzando

A pesar de los hallazgos positivos, todavía hay limitaciones en nuestro enfoque. Aún no lo hemos probado en una amplia variedad de tareas ni comparado directamente con modelos mucho más grandes. El trabajo futuro implicará probar nuestros métodos en más tareas y contra modelos más grandes para evaluar completamente sus capacidades.

Nuestro trabajo sienta las bases para futuras investigaciones en la adaptación de modelos de lenguaje para tareas relacionadas con registros electrónicos de salud. Esperamos que modelos de predicción más efectivos puedan llevar a mejores resultados para los pacientes en los hospitales.

#Conclusión

En resumen, nuestro estudio muestra que podemos adaptar con éxito el modelo DeBERTa para tareas que usan registros electrónicos de salud. Hemos demostrado que nuestro enfoque se desempeña bien en la predicción de resultados en departamentos de urgencias y destaca la importancia de cómo preparamos los datos.

Mantener datos de texto libre y usar nombres de columnas más claros puede llevar a mejores predicciones, enfatizando la necesidad de un procesamiento de datos exhaustivo. Este trabajo representa un paso prometedor para mejorar la atención médica a través de técnicas avanzadas de aprendizaje automático adaptadas a los desafíos del mundo real que se enfrentan en entornos médicos.