Simple Science

La science de pointe expliquée simplement

# Informatique# Intelligence artificielle# Calcul et langage

Améliorer les prévisions DRG avec des modèles de langage

Une étude sur l'utilisation de modèles de langue pour améliorer la précision des prévisions DRG.

― 6 min lire


Avancer les méthodes deAvancer les méthodes deprédiction des DRGl'hôpital.une meilleure précision de codage àExploiter les modèles de langage pour
Table des matières

Dans le système de santé américain, le Groupe de Diagnosis-Related (DRG) est super important pour savoir comment les Hôpitaux sont payés pour traiter les patients. Par contre, choisir quel code DRG utiliser pour un patient peut être long et compliqué. Cette étude veut améliorer ce processus en utilisant un programme informatique spécial, connu sous le nom de modèle de langage large (LLM), pour faire des Prédictions sur les attributions de DRG à partir de Notes cliniques.

Contexte sur les DRG

Les DRG servent à regrouper les cas d'hôpital en catégories qui devraient utiliser des ressources similaires. Chaque DRG est défini par des caractéristiques spécifiques du patient, comme le principal diagnostic, d'autres conditions, les procédures effectuées, le sexe du patient et son statut de sortie. Les médecins et les codeurs médicaux décident généralement des DRG après que les patients ont quitté l'hôpital, ce qui peut ralentir le processus et causer des erreurs.

Des attributions de DRG précises sont cruciales pour les hôpitaux, car elles impactent la performance financière et la gestion des ressources. Du coup, il y a un intérêt grandissant pour prédire les DRG pendant que les patients sont encore à l'hôpital. Ça peut aider les hôpitaux à mieux se préparer à leurs besoins.

Défis dans la prédiction des DRG

Prédire les DRG pose des défis qui ne sont pas typiques d'autres tâches de classification. Une différence clé est qu'une visite à l'hôpital reçoit un code DRG, alors que d'autres systèmes de codage, comme la Classification Internationale des Maladies (CIM), peuvent attribuer plusieurs codes à une visite. La manière dont les codes DRG sont organisés, avec un diagnostic principal inclus dans chaque code, ajoute une couche de complexité.

Des recherches antérieures ont montré que l'utilisation de techniques d'apprentissage automatique peut améliorer la précision des prédictions de DRG. Récemment, un modèle basé sur l'apprentissage profond appelé CAML a été utilisé pour prédire les DRG à partir de notes cliniques avec de bons résultats.

Vu les forces des LLM comme GPT-3, on espère que ces Modèles pourraient être appliqués pour prédire les DRG efficacement.

L'étude

Cette étude présente un nouveau modèle conçu pour prédire les DRG, basé sur un type de LLM appelé LLaMA. Ce modèle a été entraîné avec un grand ensemble de résumés de sortie d'hôpital et vise à améliorer la précision des prédictions de DRG.

Cohorte de l'étude

La recherche a utilisé des données du jeu de données MIMIC-IV, qui inclut beaucoup d'admissions à l'hôpital. Des sections spécifiques des résumés de sortie de l'hôpital ont été choisies pour cette analyse. Les résumés de mauvaise qualité ont été retirés, et les données ont été divisées en ensembles d'entraînement et de test, assurant que les DRG étaient bien représentés dans les deux ensembles.

Méthodes de prédiction des DRG

L'étude a exploré deux méthodes principales de prédiction des DRG : classification à étiquette unique et classification à deux étiquettes.

  1. Classification à Étiquette Unique : Dans cette méthode, le modèle prédit un code DRG pour chaque séjour à l'hôpital basé sur les notes cliniques. Le modèle a montré une forte performance, atteignant un taux de précision élevé.

  2. Classification à Deux Étiquettes : Ici, le modèle prédit d'abord deux étiquettes séparées : une étiquette DRG de base et une indication de statut pour les complications ou comorbidités (CC/MCC). Le modèle combine ensuite ces deux prédictions pour déterminer le code DRG final.

Les deux méthodes ont montré une performance efficace, mais l'approche à deux étiquettes a fourni quelques insights supplémentaires.

Résultats

Le modèle basé sur LLaMA a surpassé les modèles précédents utilisés pour la prédiction des DRG. Sa capacité à gérer diverses visites d'hôpital, surtout celles qui sont fréquentes, a conduit à de meilleurs résultats par rapport aux anciens modèles.

Métriques de Performance

L'étude a évalué la performance sur plusieurs critères, y compris la précision des prédictions et les scores F1. Le modèle LLaMA a montré des améliorations de performance partout, surtout pour les DRG plus courants.

Analyse des Erreurs

Une analyse des erreurs a mis en évidence les défis rencontrés par le modèle. Les erreurs ont été classées en plusieurs types, comme les classifications incorrectes et les cas où des informations nécessaires étaient manquantes. Certaines difficultés sont venues des règles complexes pour les attributions de DRG, tandis que d'autres ont indiqué des domaines où le modèle pourrait être amélioré.

Implications des Résultats

Les résultats de cette étude ont des implications importantes pour les hôpitaux et les prestataires de soins de santé. L'utilisation des LLM pourrait simplifier le processus de prédiction des DRG, menant à des attributions plus rapides et plus précises. Cela pourrait aider à une meilleure planification et gestion des ressources dans les hôpitaux.

La capacité des LLM à analyser rapidement de grandes quantités de texte pourrait être exploitée pour améliorer les flux de travail cliniques. En facilitant des prédictions de DRG plus précises, les hôpitaux peuvent prendre des décisions basées sur les données qui améliorent les soins aux patients et l'efficacité opérationnelle.

Directions Futures

Pour l'avenir, il est essentiel de continuer à affiner les LLM pour des usages médicaux. Comme cette étude le suggère, il y a un potentiel considérable à utiliser les derniers modèles LLM pour une précision et une efficacité encore plus grandes dans la prédiction des DRG. Les futures études devraient également envisager d'utiliser des données des premières étapes du séjour hospitalier d'un patient, comme les notes du service d'urgence, pour permettre des prédictions de DRG plus précoces.

De plus, tester ces modèles sur des ensembles de données plus divers pourrait donner des insights sur leur généralisabilité à travers différents cadres de soins de santé.

Conclusion

Cette étude démontre le potentiel d'exploiter des modèles de langage avancés pour améliorer l'efficacité et la précision des prédictions de DRG dans les hôpitaux. En abordant les limites des pratiques actuelles, les systèmes de santé peuvent mieux gérer les ressources et améliorer les résultats des patients. À mesure que la technologie évolue, intégrer les LLM dans les flux de travail de codage d'hôpital quotidiens pourrait considérablement améliorer la qualité de la prestation des soins de santé.

Source originale

Titre: DRG-LLaMA : Tuning LLaMA Model to Predict Diagnosis-related Group for Hospitalized Patients

Résumé: In the U.S. inpatient payment system, the Diagnosis-Related Group (DRG) is pivotal, but its assignment process is inefficient. The study introduces DRG-LLaMA, an advanced large language model (LLM) fine-tuned on clinical notes to enhance DRGs assignment. Utilizing LLaMA as the foundational model and optimizing it through Low-Rank Adaptation (LoRA) on 236,192 MIMIC-IV discharge summaries, our DRG-LLaMA-7B model exhibited a noteworthy macro-averaged F1 score of 0.327, a top-1 prediction accuracy of 52.0%, and a macro-averaged Area Under the Curve (AUC) of 0.986, with a maximum input token length of 512. This model surpassed the performance of prior leading models in DRG prediction, showing a relative improvement of 40.3% and 35.7% in macro-averaged F1 score compared to ClinicalBERT and CAML, respectively. Applied to base DRG and complication or comorbidity (CC)/major complication or comorbidity (MCC) prediction, DRG-LLaMA achieved a top-1 prediction accuracy of 67.8% and 67.5%, respectively. Additionally, our findings indicate that DRG-LLaMA's performance correlates with increased model parameters and input context lengths.

Auteurs: Hanyin Wang, Chufan Gao, Christopher Dantona, Bryan Hull, Jimeng Sun

Dernière mise à jour: 2023-09-28 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2309.12625

Source PDF: https://arxiv.org/pdf/2309.12625

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires