Simple Science

Ciência de ponta explicada de forma simples

# Informática# Inteligência Artificial# Computação e linguagem

Melhorando Previsões de DRG com Modelos de Linguagem

Um estudo sobre como usar modelos de linguagem pra melhorar a precisão da previsão de DRG.

― 6 min ler


Avanço nos Métodos deAvanço nos Métodos dePrevisão de DRGhospitalar.melhorar a precisão na codificaçãoAproveitando modelos de linguagem pra
Índice

No sistema de saúde dos EUA, o Grupo Relacionado ao Diagnóstico (DRG) é uma parte importante de como os Hospitais recebem pagamento pelo tratamento de pacientes. Porém, descobrir qual código DRG usar para um paciente pode levar muito tempo e esforço. Este estudo foca em melhorar esse processo usando um tipo especial de programa de computador conhecido como modelo de linguagem grande (LLM) para fazer previsões sobre atribuições de DRG a partir de Notas Clínicas.

Contexto sobre DRGS

Os DRGs são usados para categorizar casos hospitalares em grupos que devem ter um uso semelhante de recursos hospitalares. Cada DRG é definido por características específicas do paciente, incluindo o diagnóstico principal, outras condições, procedimentos realizados, gênero do paciente e seu status de alta. Médicos e codificadores médicos geralmente decidem os DRGs depois que os pacientes saem do hospital, o que pode deixar o processo lento e sujeito a erros.

Atribuições precisas de DRG são cruciais para os hospitais porque afetam o desempenho financeiro e a gestão de recursos. Por isso, há um interesse crescente em prever DRGs enquanto os pacientes ainda estão no hospital. Isso pode ajudar os hospitais a se planejarem melhor para suas necessidades.

Desafios na Previsão de DRG

Prever DRGs apresenta desafios que não são típicos em outras tarefas de classificação. Uma diferença chave é que cada visita ao hospital recebe um código DRG, enquanto outros sistemas de codificação, como a Classificação Internacional de Doenças (CID), podem atribuir vários códigos a uma visita. A forma como os códigos DRG são organizados, com um diagnóstico principal fazendo parte de cada código, adiciona outra camada de complexidade.

Pesquisas anteriores mostraram que usar técnicas de aprendizado de máquina pode levar a uma melhor precisão na previsão de DRG. Recentemente, um modelo baseado em aprendizado profundo chamado CAML foi usado para prever DRGs a partir de notas clínicas com resultados positivos.

Dada a força dos LLMs como o GPT-3, há esperança de que esses Modelos possam ser aplicados para prever DRGs de forma eficaz.

O Estudo

Este estudo apresenta um novo modelo projetado para prever DRGs, baseado em um tipo de LLM chamado LLaMA. Este modelo foi treinado usando um grande conjunto de resumos de alta de hospitais e tinha como objetivo melhorar a precisão das previsões de DRG.

Coorte do Estudo

A pesquisa usou dados do conjunto de dados MIMIC-IV, que inclui muitas internações hospitalares. Seções específicas dos resumos de alta hospitalar foram escolhidas para esta análise. Resumos de baixa qualidade foram removidos, e os dados foram divididos em conjuntos de treinamento e teste, garantindo que os DRGs estivessem bem representados em ambos os conjuntos.

Métodos de Previsão de DRG

O estudo explorou dois métodos principais de previsão de DRG: classificação de rótulo único e classificação de dois rótulos.

  1. Classificação de Rótulo Único: Nesse método, o modelo prevê um código DRG para cada internação hospitalar com base nas notas clínicas. O modelo mostrou um desempenho forte, alcançando uma alta taxa de precisão.

  2. Classificação de Dois Rótulos: Aqui, o modelo primeiro prevê dois rótulos separados: um rótulo de DRG base e uma indicação de status para quaisquer complicações ou comorbidades (CC/MCC). O modelo então combina essas duas previsões para determinar o código DRG final.

Ambos os métodos demonstraram um desempenho eficaz, mas a abordagem de dois rótulos forneceu alguns insights adicionais.

Resultados

O modelo baseado em LLaMA superou modelos anteriores usados para previsão de DRG. Sua capacidade de lidar com várias visitas hospitalares, especialmente aquelas que são frequentes, levou a melhores resultados em comparação com modelos mais antigos.

Métricas de Desempenho

O estudo avaliou o desempenho com base em várias métricas, incluindo precisão de previsão e pontuações F1. O modelo LLaMA apresentou melhorias de desempenho em todas as áreas, especialmente para DRGs mais comuns.

Análise de Erros

Uma análise dos erros destacou os desafios enfrentados pelo modelo. Os erros foram categorizados em vários tipos, como classificações erradas e casos onde informações necessárias estavam faltando. Algumas dificuldades surgiram das regras complexas para atribuições de DRG, enquanto outras apontaram áreas onde o modelo poderia ser melhorado.

Implicações dos Resultados

Os achados deste estudo têm implicações importantes para hospitais e provedores de saúde. O uso de LLMs poderia agilizar o processo de previsão de DRG, levando a atribuições mais rápidas e precisas. Isso, por sua vez, poderia ajudar em um melhor planejamento e gestão de recursos dentro dos hospitais.

A capacidade dos LLMs de analisar grandes quantidades de texto rapidamente poderia ser aproveitada para melhorar os fluxos de trabalho clínicos. Facilitando previsões de DRG mais precisas, os hospitais podem tomar decisões baseadas em dados que melhoram o atendimento ao paciente e a eficiência operacional.

Direções Futuras

Seguindo em frente, é essencial continuar refinando os LLMs para fins médicos. Como este estudo sugere, há uma promessa considerável em utilizar os últimos modelos de LLM para uma precisão e eficiência ainda maiores na previsão de DRGs. Estudos futuros também deveriam considerar utilizar dados de estágios anteriores da internação de um paciente, como notas do departamento de emergência, para possibilitar previsões de DRG mais precoces.

Além disso, testar esses modelos em conjuntos de dados mais diversos poderia fornecer insights sobre sua generalizabilidade em diferentes contextos de saúde.

Conclusão

Este estudo demonstra o potencial de aproveitar modelos de linguagem avançados para melhorar a eficiência e a precisão das previsões de DRG em hospitais. Ao abordar as limitações das práticas atuais, os sistemas de saúde podem gerenciar melhor os recursos e melhorar os resultados dos pacientes. À medida que a tecnologia evolui, integrar LLMs nos fluxos de trabalho de codificação hospitalar pode melhorar significativamente a qualidade da prestação de cuidados de saúde.

Fonte original

Título: DRG-LLaMA : Tuning LLaMA Model to Predict Diagnosis-related Group for Hospitalized Patients

Resumo: In the U.S. inpatient payment system, the Diagnosis-Related Group (DRG) is pivotal, but its assignment process is inefficient. The study introduces DRG-LLaMA, an advanced large language model (LLM) fine-tuned on clinical notes to enhance DRGs assignment. Utilizing LLaMA as the foundational model and optimizing it through Low-Rank Adaptation (LoRA) on 236,192 MIMIC-IV discharge summaries, our DRG-LLaMA-7B model exhibited a noteworthy macro-averaged F1 score of 0.327, a top-1 prediction accuracy of 52.0%, and a macro-averaged Area Under the Curve (AUC) of 0.986, with a maximum input token length of 512. This model surpassed the performance of prior leading models in DRG prediction, showing a relative improvement of 40.3% and 35.7% in macro-averaged F1 score compared to ClinicalBERT and CAML, respectively. Applied to base DRG and complication or comorbidity (CC)/major complication or comorbidity (MCC) prediction, DRG-LLaMA achieved a top-1 prediction accuracy of 67.8% and 67.5%, respectively. Additionally, our findings indicate that DRG-LLaMA's performance correlates with increased model parameters and input context lengths.

Autores: Hanyin Wang, Chufan Gao, Christopher Dantona, Bryan Hull, Jimeng Sun

Última atualização: 2023-09-28 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2309.12625

Fonte PDF: https://arxiv.org/pdf/2309.12625

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes