Melhorando Previsões de DRG com Modelos de Linguagem
Um estudo sobre como usar modelos de linguagem pra melhorar a precisão da previsão de DRG.
― 6 min ler
Índice
No sistema de saúde dos EUA, o Grupo Relacionado ao Diagnóstico (DRG) é uma parte importante de como os Hospitais recebem pagamento pelo tratamento de pacientes. Porém, descobrir qual código DRG usar para um paciente pode levar muito tempo e esforço. Este estudo foca em melhorar esse processo usando um tipo especial de programa de computador conhecido como modelo de linguagem grande (LLM) para fazer previsões sobre atribuições de DRG a partir de Notas Clínicas.
DRGS
Contexto sobreOs DRGs são usados para categorizar casos hospitalares em grupos que devem ter um uso semelhante de recursos hospitalares. Cada DRG é definido por características específicas do paciente, incluindo o diagnóstico principal, outras condições, procedimentos realizados, gênero do paciente e seu status de alta. Médicos e codificadores médicos geralmente decidem os DRGs depois que os pacientes saem do hospital, o que pode deixar o processo lento e sujeito a erros.
Atribuições precisas de DRG são cruciais para os hospitais porque afetam o desempenho financeiro e a gestão de recursos. Por isso, há um interesse crescente em prever DRGs enquanto os pacientes ainda estão no hospital. Isso pode ajudar os hospitais a se planejarem melhor para suas necessidades.
Previsão de DRG
Desafios naPrever DRGs apresenta desafios que não são típicos em outras tarefas de classificação. Uma diferença chave é que cada visita ao hospital recebe um código DRG, enquanto outros sistemas de codificação, como a Classificação Internacional de Doenças (CID), podem atribuir vários códigos a uma visita. A forma como os códigos DRG são organizados, com um diagnóstico principal fazendo parte de cada código, adiciona outra camada de complexidade.
Pesquisas anteriores mostraram que usar técnicas de aprendizado de máquina pode levar a uma melhor precisão na previsão de DRG. Recentemente, um modelo baseado em aprendizado profundo chamado CAML foi usado para prever DRGs a partir de notas clínicas com resultados positivos.
Dada a força dos LLMs como o GPT-3, há esperança de que esses Modelos possam ser aplicados para prever DRGs de forma eficaz.
O Estudo
Este estudo apresenta um novo modelo projetado para prever DRGs, baseado em um tipo de LLM chamado LLaMA. Este modelo foi treinado usando um grande conjunto de resumos de alta de hospitais e tinha como objetivo melhorar a precisão das previsões de DRG.
Coorte do Estudo
A pesquisa usou dados do conjunto de dados MIMIC-IV, que inclui muitas internações hospitalares. Seções específicas dos resumos de alta hospitalar foram escolhidas para esta análise. Resumos de baixa qualidade foram removidos, e os dados foram divididos em conjuntos de treinamento e teste, garantindo que os DRGs estivessem bem representados em ambos os conjuntos.
Métodos de Previsão de DRG
O estudo explorou dois métodos principais de previsão de DRG: classificação de rótulo único e classificação de dois rótulos.
Classificação de Rótulo Único: Nesse método, o modelo prevê um código DRG para cada internação hospitalar com base nas notas clínicas. O modelo mostrou um desempenho forte, alcançando uma alta taxa de precisão.
Classificação de Dois Rótulos: Aqui, o modelo primeiro prevê dois rótulos separados: um rótulo de DRG base e uma indicação de status para quaisquer complicações ou comorbidades (CC/MCC). O modelo então combina essas duas previsões para determinar o código DRG final.
Ambos os métodos demonstraram um desempenho eficaz, mas a abordagem de dois rótulos forneceu alguns insights adicionais.
Resultados
O modelo baseado em LLaMA superou modelos anteriores usados para previsão de DRG. Sua capacidade de lidar com várias visitas hospitalares, especialmente aquelas que são frequentes, levou a melhores resultados em comparação com modelos mais antigos.
Métricas de Desempenho
O estudo avaliou o desempenho com base em várias métricas, incluindo precisão de previsão e pontuações F1. O modelo LLaMA apresentou melhorias de desempenho em todas as áreas, especialmente para DRGs mais comuns.
Análise de Erros
Uma análise dos erros destacou os desafios enfrentados pelo modelo. Os erros foram categorizados em vários tipos, como classificações erradas e casos onde informações necessárias estavam faltando. Algumas dificuldades surgiram das regras complexas para atribuições de DRG, enquanto outras apontaram áreas onde o modelo poderia ser melhorado.
Implicações dos Resultados
Os achados deste estudo têm implicações importantes para hospitais e provedores de saúde. O uso de LLMs poderia agilizar o processo de previsão de DRG, levando a atribuições mais rápidas e precisas. Isso, por sua vez, poderia ajudar em um melhor planejamento e gestão de recursos dentro dos hospitais.
A capacidade dos LLMs de analisar grandes quantidades de texto rapidamente poderia ser aproveitada para melhorar os fluxos de trabalho clínicos. Facilitando previsões de DRG mais precisas, os hospitais podem tomar decisões baseadas em dados que melhoram o atendimento ao paciente e a eficiência operacional.
Direções Futuras
Seguindo em frente, é essencial continuar refinando os LLMs para fins médicos. Como este estudo sugere, há uma promessa considerável em utilizar os últimos modelos de LLM para uma precisão e eficiência ainda maiores na previsão de DRGs. Estudos futuros também deveriam considerar utilizar dados de estágios anteriores da internação de um paciente, como notas do departamento de emergência, para possibilitar previsões de DRG mais precoces.
Além disso, testar esses modelos em conjuntos de dados mais diversos poderia fornecer insights sobre sua generalizabilidade em diferentes contextos de saúde.
Conclusão
Este estudo demonstra o potencial de aproveitar modelos de linguagem avançados para melhorar a eficiência e a precisão das previsões de DRG em hospitais. Ao abordar as limitações das práticas atuais, os sistemas de saúde podem gerenciar melhor os recursos e melhorar os resultados dos pacientes. À medida que a tecnologia evolui, integrar LLMs nos fluxos de trabalho de codificação hospitalar pode melhorar significativamente a qualidade da prestação de cuidados de saúde.
Título: DRG-LLaMA : Tuning LLaMA Model to Predict Diagnosis-related Group for Hospitalized Patients
Resumo: In the U.S. inpatient payment system, the Diagnosis-Related Group (DRG) is pivotal, but its assignment process is inefficient. The study introduces DRG-LLaMA, an advanced large language model (LLM) fine-tuned on clinical notes to enhance DRGs assignment. Utilizing LLaMA as the foundational model and optimizing it through Low-Rank Adaptation (LoRA) on 236,192 MIMIC-IV discharge summaries, our DRG-LLaMA-7B model exhibited a noteworthy macro-averaged F1 score of 0.327, a top-1 prediction accuracy of 52.0%, and a macro-averaged Area Under the Curve (AUC) of 0.986, with a maximum input token length of 512. This model surpassed the performance of prior leading models in DRG prediction, showing a relative improvement of 40.3% and 35.7% in macro-averaged F1 score compared to ClinicalBERT and CAML, respectively. Applied to base DRG and complication or comorbidity (CC)/major complication or comorbidity (MCC) prediction, DRG-LLaMA achieved a top-1 prediction accuracy of 67.8% and 67.5%, respectively. Additionally, our findings indicate that DRG-LLaMA's performance correlates with increased model parameters and input context lengths.
Autores: Hanyin Wang, Chufan Gao, Christopher Dantona, Bryan Hull, Jimeng Sun
Última atualização: 2023-09-28 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2309.12625
Fonte PDF: https://arxiv.org/pdf/2309.12625
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.