Simple Science

Ciência de ponta explicada de forma simples

# Biologia# Neurociência

Avanços em Neuroprósteses para Comunicação Oral

Novas tecnologias não invasivas buscam melhorar as habilidades de fala de pessoas com deficiência.

― 9 min ler


A tecnologia deA tecnologia deneuropróteses transformaos aparelhos de fala.de fala.comunicação para quem tem dificuldadesMétodos inovadores melhoram a
Índice

A tecnologia de Neuropróteses tá se tornando uma ferramenta importante pra galera que tem dificuldade em falar. Isso pode rolar por diversos problemas de saúde, como AVC no tronco cerebral, esclerose lateral amiotrófica (ELA) ou cirurgias na garganta que dificultam a fala.

Muitos dos recursos de comunicação que já existem, tipo sistemas de rastreamento ocular, podem ser bem lentos e cansativos pros usuários. Isso é especialmente verdade pra quem tá no estágio avançado da ELA, que pode enfrentar problemas adicionais com a visão e movimentos oculares. Mas, felizmente, os desenvolvimentos recentes em Interfaces Cérebro-Computador (BCI) que registram a atividade cerebral diretamente mostraram um grande potencial. Esses dispositivos ajudam os usuários a formar palavras em velocidades mais próximas da fala normal. Contudo, esses métodos precisam de cirurgia pra implantar eletrodos no cérebro, o que pode causar medo e desconforto pros pacientes.

Então, tem uma pressão forte pra criar dispositivos de fala que usem métodos não invasivos pra registrar a atividade cerebral. Isso tornaria a tecnologia de comunicação mais acessível pra pessoas com deficiência de fala.

Métodos Não Invasivos pra Reconhecimento de Fala

Tem uma variedade de técnicas não invasivas pra decifrar a fala a partir dos sinais do cérebro. Algumas delas incluem a Imagem por Ressonância Magnética Funcional (fMRI), Magnetoencefalografia (MEG) e Eletroencefalografia (EEG). Enquanto o fMRI e o MEG oferecem um bom detalhe espacial, eles precisam de equipamentos grandes e complexos que não são práticos pro dia a dia.

Por outro lado, o EEG é mais simples e pode ser usado em ambientes mais naturais. Melhorias recentes em sistemas de EEG ultra-alta densidade tornaram possível obter uma resolução melhor nas gravações, tornando-o mais eficaz pra decifrar a fala.

Preparando o Desenvolvimento da Neuroprótese de Fala

Pra criar uma neuroprótese de fala eficaz, os pesquisadores precisam coletar gravações do cérebro que estejam ligadas à fala real. Isso significa coletar sinais do cérebro enquanto as pessoas falam normalmente. No entanto, decifrar a fala que é apenas imaginada – em vez de falada – requer métodos diferentes, já que não são produzidos sons vocais.

Uma abordagem comum pra fala imaginada é pedir pros sujeitos pensarem em palavras enquanto seguem um ritmo definido. Porém, esse método tem seus desafios. Por exemplo, os participantes muitas vezes não conseguem controlar o ritmo e podem ter dificuldades em produzir palavras tão naturalmente quanto fariam em uma conversa casual. Isso limita a quantidade de dados que podem ser coletados e afeta a qualidade da informação obtida.

Além disso, pesquisas sugerem que os sinais da fala imaginada são mais difíceis de interpretar do que os da fala real. Isso destaca a necessidade de padrões de fala mais naturais no desenvolvimento das BCIs.

Investigando a Conexão Entre Fala Overt e Covert

Pra criar BCIs funcionais de fala pra uso diário, os pesquisadores estão focando em modelos de decodificação baseados em EEG. Mas ainda há incertezas sobre se os dados de EEG coletados durante a fala normal podem ser usados pra decifrar a fala imaginada. A maioria dos estudos atuais de EEG focou na fala imaginada ou na atividade cerebral antes de começar a fala pra evitar interferência da atividade muscular durante a fala.

O objetivo dessa pesquisa é estudar as ligações entre a fala que é falada em voz alta e a que é apenas pensada. Os pesquisadores coletaram dados de atividade cerebral usando sistemas de EEG ultra-alta densidade, junto com movimentos oculares e atividade dos músculos faciais, durante tanto a fala quanto a imaginação da fala. Depois, eles criaram modelos pra prever palavras faladas e analisaram quais sinais do cérebro contribuíram pra uma decodificação bem-sucedida.

Experimentos de Decodificação em Tempo Real com EEG

Em um experimento, os pesquisadores testaram a capacidade de classificar cinco palavras diferentes faladas pelos participantes em três condições: falando em voz alta, sussurrando e pensando em silêncio. Cada participante usou uma interface web pra indicar as cores dos botões a serem clicados.

O volume da fala diminuiu de falar em voz alta pra sussurrar, e depois pra pensamento silencioso. Usando EEG ultra-alta densidade, os pesquisadores registraram a atividade cerebral durante essas tarefas de fala, focando em áreas-chave do cérebro ligadas à produção de fala.

Cada participante dizia a mesma palavra cinco vezes, usando um sinal de contagem regressiva pra manter o ritmo. Eles falavam em três formatos: fala clara, fala sussurrada e repetição silenciosa. Depois, os pesquisadores mediram os sinais de EEG, analisaram os dados e pôs esses sinais limpos em um modelo projetado pra decodificar palavras faladas.

Desafios da Interferência da Atividade Muscular

A atividade muscular durante a fala pode interferir na qualidade das gravações de EEG. Pra entender o impacto dessa interferência, os pesquisadores mediram os sinais dos músculos faciais junto com o EEG. Eles descobriram que a atividade muscular era muito maior durante a fala clara em comparação com sussurrar ou pensar em silêncio.

Comparando o quanto os sinais musculares informavam os dados do EEG, os pesquisadores puderam ver como a atividade muscular afetava a qualidade dos sinais do cérebro. Eles também analisaram as conexões entre os sinais de EEG e a atividade muscular em diferentes etapas de pré-processamento. O objetivo era determinar quão eficazmente poderiam isolar a atividade cerebral relacionada à fala do ruído muscular.

Escolhendo os Modelos de Decodificação Certos

Pra analisar a atividade cerebral relacionada à fala, os pesquisadores olharam pra vários modelos de decodificação. Eles examinaram CNN (Rede Neural Convolucional), RNN (Rede Neural Recorrente) e SVM (Máquina de Vetor de Suporte).

Enquanto CNN e RNN tiveram um bom desempenho na previsão de palavras durante os testes, a SVM teve um desempenho inferior. Portanto, o EEGNet, um tipo específico de CNN, foi escolhido pra análise mais aprofundada devido ao seu desempenho superior.

Avaliando o Efeito da Densidade de Eletrodos

Os pesquisadores também estudaram como o número de eletrodos impactava a precisão das previsões de palavras. Testando modelos com diferentes números de eletrodos, de quatro a trinta e dois, eles determinaram que usar mais eletrodos geralmente aumentava a precisão. No entanto, as melhorias foram mais significativas durante as tarefas de fala sussurrada.

Contribuições Distintas do EEG e EMG

Em seguida, os pesquisadores exploraram como os sinais de EEG diferiam dos sinais de atividade muscular durante as tarefas de fala. Eles implementaram um modelo de decodificação separado pra cada tipo de sinal e compararam sua eficácia na previsão de palavras. Essa análise revelou algumas sobreposições no tempo entre os sinais musculares e os sinais do cérebro, mas eles focaram mais em períodos diferentes.

A análise mostrou diferenças significativas nos sinais relacionados à fala e atividades musculares, ressaltando a importância de remover o ruído muscular pra uma decodificação precisa da atividade cerebral relacionada à fala.

Explorando o Impacto de Filtros Adaptativos

Uma das técnicas principais usadas pra melhorar as gravações de EEG foi a implementação de filtros adaptativos com o objetivo de reduzir a interferência da atividade muscular. Esses filtros ajudaram a diminuir a influência dos sinais musculares nos dados de EEG.

Comparando as contribuições de diferentes regiões do cérebro pra decodificação da fala antes e depois da aplicação desses filtros, os pesquisadores notaram melhorias em várias áreas relacionadas à fala, confirmando que a redução de ruído por meio de Filtragem Adaptativa era benéfica.

Construindo a Interface Brain-Gmail

Uma aplicação empolgante dessa pesquisa foi o desenvolvimento de uma interface que permitia que os participantes controlassem suas contas do Gmail usando os pensamentos combinados com comandos de fala. Os participantes podiam usar seus dados de EEG pra selecionar cores que representavam ações, como ler ou responder e-mails.

Treinando a interface pra entender comandos com base na atividade cerebral, o sistema conseguia decodificar cores representando várias ações, como abrir e-mails e gerar respostas usando a ferramenta ChatGPT. Essa capacidade ressalta o potencial das aplicações práticas da tecnologia de neuropróteses de fala em melhorar a comunicação pra quem tem dificuldades de fala.

Considerações Finais sobre Interfaces de Fala Silenciosa

O objetivo subjacente dessa pesquisa é criar dispositivos que permitam que as pessoas se comuniquem sem precisar vocalizar suas palavras. Essa tecnologia poderia ser especialmente útil pra quem tem dificuldades de fala ou quando a comunicação verbal não é prática.

Embora alguns estudos tenham mostrado sucesso com a entrada de fala imaginada, os pesquisadores descobriram que a precisão cai significativamente em cenários online. Em contraste, sussurrar mostrou resultados eficazes tanto em testes offline quanto online, tornando-se uma opção mais prática pra comunicação silenciosa.

A pesquisa destaca a importância de métodos de filtragem adaptativa e a relação entre várias condições de fala. Trabalhos futuros devem focar em tornar essas tecnologias mais robustas e amigáveis ao usuário, especialmente em aplicações do mundo real.

Conclusão

A exploração da tecnologia de neuroprótese pra fala ainda tá em desenvolvimento, mas tem um grande potencial pra quem enfrenta desafios na comunicação. Com técnicas avançadas em EEG e filtragem adaptativa, os pesquisadores pretendem melhorar a precisão dos decodificadores de fala. Com os esforços contínuos, a esperança é oferecer soluções práticas de comunicação que possam melhorar a qualidade de vida de indivíduos com deficiências de fala.

Fonte original

Título: Delineating neural contributions to electroencephalogram-based speech decoding

Resumo: Speech Brain-computer interfaces (BCIs) have emerged as a pivotal technology in facilitating communication for individuals with speech impairments. Utilizing electroencephalography (EEG) for noninvasive speech BCIs offers an accessible and affordable solution, potentially benefiting a broader audience. However, EEG-based speech decoding remains controversial especially for overt speech, due to difficulties in separating speech-related neural activities from myoelectric potential artifacts generated during articulation. Here we aim to delineate the extent of the neural contributions by employing Explainable AI techniques to a convolutional neural network predicting spoken words based on signals obtained by ultra-high-density (uhd)-EEG. We found that electrode-wise contributions to the decoding cannot be explained by their mutual information with electromyography (EMG). Furthermore, contributing periods of speech to EEG-based decoding are distinct from those to decoding solely relying on EMG. In contrast, there are significant overlaps in signal timings contributing to EEG-based decoding, regardless of vocal conditions such as overt or covert speech. Notably, the denoising process successfully enhanced the decoding contribution from electrodes within speech-related brain areas for all speech conditions. Altogether, our findings support the idea that, with appropriate preprocessing, EEG becomes a valuable tool for decoding spoken words based on underlying neural activities.

Autores: Shuntaro Sasai, M. Sato, Y. Kabe, S. Nobe, A. Yoshida, M. Inoue, M. Shimizu, K. Tomeoka

Última atualização: 2024-05-27 00:00:00

Idioma: English

Fonte URL: https://www.biorxiv.org/content/10.1101/2024.05.09.591996

Fonte PDF: https://www.biorxiv.org/content/10.1101/2024.05.09.591996.full.pdf

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao biorxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes