Melhorando a Classificação de Ecocardiografia com Aprendizado Incremental de Classe
Um novo método ajuda a classificar imagens do coração sem perder o conhecimento anterior.
― 7 min ler
Índice
- Descrição do Problema
- Aprendizado Incremental por Classe
- Aprendendo a partir de Características em vez de Imagens
- Metodologia
- Abordando o Problema do Especialista Não Qualificado
- Abordagem de Treinamento Multi-Site
- Experimentos e Resultados
- Comparação com Métodos Tradicionais
- Conclusão
- Fonte original
- Ligações de referência
A ecocardiografia é um tipo especial de ultrassom usado pra ver como seu coração tá funcionando. Os médicos costumam precisar olhar diferentes ângulos do coração pra fazer diagnósticos precisos. Mas criar um modelo que consiga classificar essas vistas de forma certeira pode ser complicado. Isso fica ainda mais difícil quando se trabalha com dados de lugares diferentes, já que cada lugar pode ter seu jeito de rotular essas vistas.
Com o tempo, conforme novos dados vão surgindo, é importante atualizar o modelo pra manter a precisão. Mas só treinar o modelo com os novos dados pode causar um problema chamado "Esquecimento Catastrófico", onde o modelo perde conhecimento sobre os dados antigos.
Neste trabalho, apresentamos uma nova abordagem pra construir classificadores de vistas de ecocardiografia que conseguem aprender com múltiplos conjuntos de dados ao longo do tempo sem esquecer o que aprenderam antes. Isso torna o modelo mais robusto e útil em situações do dia a dia onde os dados nem sempre estão disponíveis.
Descrição do Problema
Quando diferentes conjuntos de dados são coletados, eles podem ter rótulos diferentes para o mesmo tipo de vista cardíaca. Alguns rótulos podem aparecer só nos dados novos, enquanto outros podem ser comuns tanto nos conjuntos originais quanto nos novos. Nosso objetivo é treinar um modelo que consiga reconhecer e classificar todos esses rótulos ao longo do tempo, mesmo quando eles são introduzidos em diferentes estágios.
Simplesmente juntar todos os dados disponíveis em um único conjunto e retrainar o modelo não é prático por causa do tempo, custo e restrições legais em torno do compartilhamento de dados. Além disso, retrainar toda vez que novos dados chegam pode ser muito demorado.
Aprendizado Incremental por Classe
Pra ajudar o modelo a aprender novos rótulos sem esquecer os antigos, usamos um método chamado aprendizado incremental por classe (CIL). Nessa abordagem, criamos um modelo especialista separado pra cada conjunto de dados. Cada especialista se especializa no seu conjunto específico, enquanto um modelo de fusão de pontuações combina as previsões desses especialistas quando toma uma decisão final.
Assim, o modelo consegue se adaptar aos novos dados enquanto ainda retém o conhecimento que adquiriu de conjuntos de dados anteriores. Um ponto chave que abordamos é o problema do "especialista não qualificado", onde alguns modelos especialistas podem dar previsões erradas ou pouco úteis com base nos dados de treinamento deles. A gente minimiza o impacto dessas previsões ruins dando mais peso às saídas dos especialistas que se saem melhor.
Aprendendo a partir de Características em vez de Imagens
Em vez de usar as imagens originais pra fazer previsões, usamos características aprendidas derivadas de cada conjunto de dados. Essa abordagem permite compartilhar a informação aprendida de forma mais fácil e reduz problemas relacionados a licenças e privacidade.
Ao focar nas características em vez das imagens, a gente também consegue melhorar a eficiência do nosso modelo. As características são mais fáceis de lidar e oferecem uma forma de manter o desempenho sem comprometer informações sensíveis.
Metodologia
Começamos treinando um modelo base em um grande conjunto de dados com rótulos de visualização comuns. Conforme novos conjuntos de dados se tornam disponíveis, fazemos um ajuste fino nos modelos especialistas separados com base nesses conjuntos enquanto mantemos os pesos do modelo base. Isso nos permite manter o conhecimento aprendido a partir dos dados base intacto enquanto nos adaptamos às novas informações.
Cada especialista recebe as características de entrada e faz previsões com base nos rótulos que aprendeu. Pra combinar essas previsões, usamos técnicas de fusão de pontuações que nos permitem aproveitar efetivamente os pontos fortes de múltiplos especialistas.
Abordando o Problema do Especialista Não Qualificado
Pra reduzir o impacto das previsões menos confiáveis dos especialistas, introduzimos um processo de ponderação. Cada especialista recebe uma pontuação com base em seu desempenho, que usamos pra ajustar sua contribuição durante a inferência. Isso resulta em previsões mais confiáveis, já que conseguimos identificar quais especialistas estão se saindo bem pra uma determinada entrada.
Implementamos duas estratégias principais pra criar essas pontuações de ponderação. A primeira usa mecanismos semelhantes à atenção pra avaliar as contribuições de diferentes especialistas, enquanto a segunda usa uma métrica que mede as discrepâncias entre a entrada e as representações aprendidas.
Abordagem de Treinamento Multi-Site
Como nossos conjuntos de dados costumam ser coletados em diferentes locais médicos, desenvolvemos uma abordagem de treinamento multi-site que não requer transferência de dados de imagem. Em vez disso, clonamos nosso modelo e treinamos ele em servidores remotos com os novos conjuntos de dados. Depois, coletamos os resultados e usamos eles pra refinar nosso modelo de fusão de pontuações de volta no servidor local.
Esse arranjo nos permite coletar e utilizar dados de forma eficaz sem violar acordos de compartilhamento ou enfrentar outras restrições.
Experimentos e Resultados
Pra testar nosso método, usamos uma variedade de conjuntos de dados, incluindo fontes públicas e proprietárias. Queremos avaliar quão bem nosso modelo se sai em conjuntos de dados que já viu durante o treinamento em comparação com aqueles que nunca encontrou.
Através dos nossos experimentos, descobrimos que muitos métodos padrão sofrem de esquecimentos catastróficos, onde aprender novos dados resulta numa queda significativa de desempenho em classes conhecidas. Nossa abordagem flexível mostra que consegue manter desempenho em conjuntos de dados internos e externos, mesmo com a introdução de novos dados.
Comparação com Métodos Tradicionais
Nas nossas análises, comparamos nosso método com abordagens tradicionais onde o modelo é retrainado com todos os dados combinados. Enquanto o método tradicional pode parecer ideal se tempo e recursos forem ilimitados, geralmente não é prático em cenários da vida real.
Nossa abordagem supera consistentemente esses métodos tradicionais, com melhorias vistas em vários conjuntos de dados. Os resultados mostram que mesmo com acesso a dados limitados, nosso método consegue manter boas habilidades de classificação.
Conclusão
Classificação de vistas de ecocardiografia requer treinamento contínuo com conjuntos de dados diversos pra se manter precisa. Ao aproveitar o aprendizado incremental por classe, criamos um modelo flexível que evolui com o tempo. O uso de modelos especialistas junto com um sistema de ponderação cuidadoso ajuda a superar problemas relacionados à sobreposição de dados e deriva do modelo.
Nossa abordagem oferece benefícios significativos, desde redução do tempo de treinamento até melhoria no desempenho, tudo isso respeitando restrições de compartilhamento de dados. Ao focar em características em vez de imagens brutas, garantimos que nossas soluções sejam eficientes e práticas pra aplicações do mundo real.
Daqui pra frente, pretendemos aprimorar ainda mais nossos métodos considerando formas de incorporar múltiplos especialistas dentro de um único ramo do modelo. Isso ajudaria a otimizar as necessidades de memória e computação, tornando o modelo ainda mais eficiente pra aplicações futuras.
Título: Multi-Site Class-Incremental Learning with Weighted Experts in Echocardiography
Resumo: Building an echocardiography view classifier that maintains performance in real-life cases requires diverse multi-site data, and frequent updates with newly available data to mitigate model drift. Simply fine-tuning on new datasets results in "catastrophic forgetting", and cannot adapt to variations of view labels between sites. Alternatively, collecting all data on a single server and re-training may not be feasible as data sharing agreements may restrict image transfer, or datasets may only become available at different times. Furthermore, time and cost associated with re-training grows with every new dataset. We propose a class-incremental learning method which learns an expert network for each dataset, and combines all expert networks with a score fusion model. The influence of ``unqualified experts'' is minimised by weighting each contribution with a learnt in-distribution score. These weights promote transparency as the contribution of each expert is known during inference. Instead of using the original images, we use learned features from each dataset, which are easier to share and raise fewer licensing and privacy concerns. We validate our work on six datasets from multiple sites, demonstrating significant reductions in training time while improving view classification performance.
Autores: Kit M. Bransby, Woo-jin Cho Kim, Jorge Oliveira, Alex Thorley, Arian Beqiri, Alberto Gomez, Agisilaos Chartsias
Última atualização: 2024-07-31 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2407.21577
Fonte PDF: https://arxiv.org/pdf/2407.21577
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.