Novo Método Melhora Diagnóstico de ASD Usando Dados de fMRI
Transformers melhoram a precisão da classificação do Transtorno do Espectro Autista por meio de uma análise avançada de imagens cerebrais.
Yinchi Zhou, Peiyu Duan, Yuexi Du, Nicha C. Dvornek
― 8 min ler
Índice
- Modelos Transformer na Análise de fMRI
- Estrutura de Pré-treinamento e Ajuste fino
- Diferentes Estratégias de Mascaramento
- Conjuntos de Dados e Pré-processamento
- Configurações Experimentais
- Avaliação do Modelo
- Resultados
- Comparação das Estratégias de Mascaramento
- Implicações dos Resultados
- Conclusão
- Fonte original
- Ligações de referência
O Transtorno do Espectro Autista (TEA) é uma condição que afeta como as pessoas pensam, interagem e se comportam. É um transtorno complexo, e cada pessoa com TEA pode apresentar sintomas e habilidades diferentes. Isso dificulta para os médicos diagnosticarem e oferecerem o tratamento certo. Pesquisas mostram que o TEA afeta cerca de 1 em cada 100 crianças ao redor do mundo, mas muitos ainda têm dificuldade em encontrar o tratamento adequado.
Uma forma de estudar o cérebro de pessoas com TEA é através de uma tecnologia chamada ressonância magnética funcional (FMRI). Esse método permite que os pesquisadores vejam como as partes do cérebro trabalham juntas ao medir as mudanças no fluxo sanguíneo. Analisando essas atividades cerebrais, os cientistas esperam encontrar indicadores que possam ajudar a diagnosticar o TEA mais cedo e criar planos de tratamento mais personalizados.
Embora muitos estudos tenham usado dados de fMRI para entender melhor como o cérebro funciona em pessoas com TEA, a maioria dos métodos focou em olhar os níveis médios de atividade em diferentes regiões do cérebro. Recentemente, novos modelos chamados transformers se tornaram populares para analisar sequências de dados, como dados de séries temporais de fMRI. Esses modelos conseguem capturar relações que acontecem ao longo de longos períodos, o que é crucial ao estudar como diferentes regiões do cérebro se comunicam.
Modelos Transformer na Análise de fMRI
Transformers têm sido usados principalmente em tarefas de linguagem devido à sua capacidade de entender as conexões entre informações distantes. No contexto do TEA, os pesquisadores começaram a aplicar esses modelos a dados de fMRI para capturar as interações entre várias regiões do cérebro ao longo do tempo. Alguns estudos recentes introduziram modelos que focam nas relações entre regiões cerebrais, mas ainda dependem de dados processados, ao invés de trabalhar diretamente com os dados brutos de séries temporais das varreduras de fMRI.
Um desafio ao usar modelos transformer é que eles geralmente precisam de muitos dados para serem eficazes. Para resolver isso, um método de Pré-treinamento pode ser utilizado. Isso envolve treinar o modelo em um grande conjunto de dados sem rótulos específicos antes de ajustá-lo em um conjunto de dados menor e rotulado. Isso ajuda a melhorar a eficiência do modelo, especialmente quando os dados são limitados.
Ajuste fino
Estrutura de Pré-treinamento eNeste trabalho, uma nova abordagem foi desenvolvida que envolve duas etapas principais: pré-treinamento e ajuste fino. Durante a fase de pré-treinamento, o modelo aprende a adivinhar pedaços faltando dos dados de séries temporais de fMRI, o que ajuda ele a entender padrões. A fase de ajuste fino então treina o modelo para classificar se um sujeito tem TEA com base nas informações que aprendeu antes.
O objetivo da fase de pré-treinamento é ensinar o modelo a preencher lacunas nos dados. Para fazer isso, várias estratégias foram introduzidas que envolvem mascarar partes dos dados de séries temporais. Por exemplo, ele pode esconder aleatoriamente dados de certas regiões do cérebro ou pontos de tempo específicos. Ao aprender a reconstruir os dados, o modelo desenvolve habilidades que pode usar depois ao classificar o TEA.
Diferentes Estratégias de Mascaramento
Três estratégias de mascaramento diferentes foram testadas durante o pré-treinamento:
MaskROI: Esse método seleciona aleatoriamente certas regiões do cérebro e remove os dados delas por todo o período. Com isso, o modelo precisa contar com informações de outras áreas para adivinhar os dados faltantes.
MaskTime: Aqui, o modelo remove aleatoriamente dados de pontos de tempo específicos, mas mantém as informações de todas as regiões do cérebro intactas durante aqueles pontos. Isso faz com que o modelo aprenda como a atividade cerebral muda ao longo do tempo.
MaskRandom: Essa abordagem envolve selecionar aleatoriamente tanto pontos de tempo quanto regiões do cérebro para esconder. Essa estratégia é similar a técnicas usadas em estudos anteriores.
Essas estratégias foram projetadas para ver quão bem o modelo aprenderia a entender os dados e se o tipo de mascaramento faz diferença.
Conjuntos de Dados e Pré-processamento
Dois conjuntos de dados públicos foram usados para testar a abordagem: o Autism Brain Imaging Data Exchange (ABIDE) e os Autism Centers of Excellence (ACE). Esses conjuntos contêm varreduras de fMRI e outras informações relevantes sobre indivíduos com TEA e controles saudáveis. Os dados passaram por checagens de qualidade e pré-processamento para garantir a precisão antes de serem usados para treinar o modelo.
Durante o treinamento, métodos adicionais foram usados para aumentar o conjunto de dados. Por exemplo, foi aplicada a técnica de corte aleatório, que significa quebrar os dados em segmentos menores. Isso permitiu que o modelo visse exemplos mais diversos, ajudando ele a aprender melhor com dados limitados.
Configurações Experimentais
Os experimentos foram realizados usando uma biblioteca de programação popular chamada PyTorch em uma placa de vídeo poderosa. Para a fase de pré-treinamento, o modelo foi treinado usando um grande número de etapas, com várias configurações para ajudar o modelo a aprender efetivamente, incluindo ajuste da velocidade de aprendizado e uso de técnicas de otimização específicas.
Na fase de ajuste fino, os principais componentes do modelo foram congelados para manter os padrões aprendidos durante o pré-treinamento, focando no treinamento de um sistema de classificação menor. Esse processo em duas etapas tinha como objetivo alcançar melhores resultados na identificação de indivíduos com TEA a partir dos dados de fMRI.
Avaliação do Modelo
Para avaliar o desempenho do modelo, foi usado um método chamado validação cruzada. Essa técnica divide os dados em diferentes grupos para testar e treinar o modelo, garantindo que os resultados sejam justos e possam ser replicados. Os resultados finais da avaliação foram baseados em quão bem o modelo conseguiu classificar o TEA em dados que não foram vistos.
As principais medidas utilizadas para a avaliação incluíram métricas que descrevem quão precisamente o modelo pode identificar indivíduos com TEA em comparação com controles saudáveis. Os resultados foram então analisados estatisticamente para determinar se as diferenças de desempenho eram significativas.
Resultados
Os resultados experimentais mostraram que o uso das tarefas de pré-treinamento melhorou significativamente a capacidade do modelo de classificar o TEA em comparação com um modelo treinado do zero. Entre as diferentes estratégias de mascaramento, foi encontrado que mascarar regiões inteiras do cérebro (MaskROI) geralmente levou aos melhores resultados em termos de precisão.
À medida que mais dados de treinamento foram usados, o desempenho do modelo melhorou, indicando que ter dados em abundância ajuda a mitigar o sobreajuste. No entanto, o pré-treinamento com qualquer uma das estratégias ainda trouxe benefícios, com MaskROI consistentemente superando as outras.
Comparação das Estratégias de Mascaramento
A análise revelou que o mascaramento completamente aleatório gerou erros menores em comparação com os outros métodos. MaskROI mostrou o melhor desempenho, indicando que focar em regiões cerebrais inteiras é uma forma eficaz de ajudar o modelo a aprender.
Ao avaliar o modelo no conjunto de dados ACE, todos os modelos pré-treinados superaram o modelo treinado do zero. Isso destacou como usar um modelo pré-treinado pode ajudar a melhorar os resultados, especialmente quando os dados são limitados, como no conjunto de dados ACE.
Implicações dos Resultados
Os resultados indicam que usar uma estratégia de pré-treinamento com modelos transformer pode beneficiar significativamente a análise de dados de fMRI para classificação do TEA. A capacidade do modelo de classificar com precisão indivíduos como tendo ou não TEA pode levar a melhores ferramentas de diagnóstico no futuro.
Os resultados também sugerem a importância da estratégia de mascaramento escolhida. Ao selecionar cuidadosamente como mascarar os dados durante a fase de pré-treinamento, os pesquisadores podem otimizar o processo de aprendizado do modelo e o desempenho geral.
Conclusão
Este trabalho apresenta um método para usar modelos transformer para classificar o TEA com base em dados de fMRI de séries temporais. A estrutura em duas etapas, combinando pré-treinamento e ajuste fino, demonstra como diferentes estratégias de mascaramento podem impactar o desempenho do modelo. Pesquisas futuras podem expandir esses achados incluindo outros tipos de dados, potencialmente melhorando ainda mais a precisão da classificação do TEA.
Ao superar desafios associados a dados de treinamento limitados, essa abordagem tem o potencial de aprimorar as capacidades de diagnóstico e fornecer opções de tratamento mais personalizadas para indivíduos com TEA. Compreender os padrões de atividade cerebral através de dados de fMRI pode levar a avanços significativos na forma como abordamos o diagnóstico e o cuidado do autismo.
Título: Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection
Resumo: Autism Spectrum Disorder (ASD) is a neurodevelopmental condition that encompasses a wide variety of symptoms and degrees of impairment, which makes the diagnosis and treatment challenging. Functional magnetic resonance imaging (fMRI) has been extensively used to study brain activity in ASD, and machine learning methods have been applied to analyze resting state fMRI (rs-fMRI) data. However, fewer studies have explored the recent transformer-based models on rs-fMRI data. Given the superiority of transformer models in capturing long-range dependencies in sequence data, we have developed a transformer-based self-supervised framework that directly analyzes time-series fMRI data without computing functional connectivity. To address over-fitting in small datasets and enhance the model performance, we propose self-supervised pre-training tasks to reconstruct the randomly masked fMRI time-series data, investigating the effects of various masking strategies. We then finetune the model for the ASD classification task and evaluate it using two public datasets and five-fold cross-validation with different amounts of training data. The experiments show that randomly masking entire ROIs gives better model performance than randomly masking time points in the pre-training step, resulting in an average improvement of 10.8% for AUC and 9.3% for subject accuracy compared with the transformer model trained from scratch across different levels of training data availability. Our code is available on GitHub.
Autores: Yinchi Zhou, Peiyu Duan, Yuexi Du, Nicha C. Dvornek
Última atualização: 2024-09-18 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2409.12304
Fonte PDF: https://arxiv.org/pdf/2409.12304
Licença: https://creativecommons.org/licenses/by-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.