Melhorando Avatares de Sinalização para uma Comunicação Melhor
Este estudo foca em melhorar avatares de sinalização pra uma compreensão melhor da linguagem de sinais.
― 7 min ler
Índice
- O Problema com os Avatares Atuais
- Entendendo as Diferenças Linguísticas
- Como Funcionam os Avatares de Sinalização
- Importância das Transições
- Transições Dinâmicas: Uma Visão Geral
- Perguntas de Pesquisa
- Metodologia do Estudo
- Resultados do Estudo: Transições Dinâmicas
- Resultados do Estudo: Movimentos de Boca
- Discussão dos Resultados
- Desafios que Ainda Precisam ser Superados
- Trabalho Futuro
- Conclusão
- Fonte original
- Ligações de referência
Avatares que sinalizam são personagens gerados por computador que imitam os gestos e expressões faciais de usuários de língua de sinais. Eles têm como objetivo ajudar pessoas surdas ou com dificuldade auditiva a se comunicarem melhor com quem não sabe a língua de sinais. Porém, muitos desses avatares não parecem muito naturais. Eles costumam deixar de mostrar os pequenos, mas importantes, detalhes que os sinalizadores humanos usam ao sinalizar. Este texto discute um método para melhorar esses avatares que sinalizam, especialmente para a Língua Gestual Portuguesa (LGP).
O Problema com os Avatares Atuais
Os avatares de sinalização atuais costumam ter dificuldade em replicar as complexidades da linguagem de sinais da vida real. Eles fazem os sinais, mas são meio duros e sem emoção. Por exemplo, ao passar de um sinal para outro, as transições podem parecer rígidas e estranhas. Isso dificulta a compreensão, especialmente para quem é novo na língua de sinais.
Para uma comunicação eficaz, é crucial que os avatares não só façam os sinais corretamente, mas também reflitam o movimento e ritmo naturais que os sinalizadores humanos exibem. Para resolver esse problema, propomos duas melhorias principais: Transições Dinâmicas entre os sinais e adicionar comportamentos de boca.
Entendendo as Diferenças Linguísticas
Línguas faladas e línguas de sinais são fundamentalmente diferentes. Línguas faladas usam sons, enquanto línguas de sinais dependem de gestos visuais. Cada tipo de linguagem tem seu próprio vocabulário e regras gramaticais. Por causa dessas diferenças, pode haver um hiato entre pessoas surdas e aquelas que podem ouvir. Nosso trabalho busca preencher essa lacuna melhorando a maneira como as línguas de sinais são representadas nas animações.
Como Funcionam os Avatares de Sinalização
Para criar um avatar que sinaliza, são necessários dois componentes principais. Primeiro, um tradutor converte a língua falada ou escrita em sinais. Esse processo envolve dividir frases em partes menores chamadas glossas, que representam sinais individuais. Depois, o avatar usa essas glossas para animar o processo de sinalização.
Criar animações para avatares que sinalizam é complexo. Envolve não apenas os sinais em si, mas também como eles se conectam. Se os movimentos parecerem artificiais, isso pode atrapalhar a comunicação.
Importância das Transições
Quando um sinalizador passa de um sinal para outro, a forma como eles fazem essa transição é vital. As transições podem determinar quão suave e fácil é seguir o fluxo dos sinais. Se as transições forem muito bruscas, pode atrapalhar a compreensão. Apresentamos um método de transições dinâmicas que se adaptam com base nos sinais que estão sendo conectados. Isso pode ajudar a sinalização a parecer mais fluida.
Transições Dinâmicas: Uma Visão Geral
Transições dinâmicas mudam de acordo com os sinais que estão sendo sinalizados. Em vez de usar o mesmo estilo de transição para cada par de sinais, esse método observa como as mãos estão posicionadas para cada sinal. Com base na distância entre as posições das mãos, a Animação pode ajustar a velocidade e o tempo da transição.
Por exemplo, se dois sinais têm as mãos próximas, a transição pode ser mais rápida. Se estiverem longe uma da outra, a transição vai demorar mais. Esse método visa tornar a sinalização mais intuitiva e parecida com o que uma pessoa real faria.
Perguntas de Pesquisa
Para testar a eficácia dessas transições dinâmicas, propomos duas perguntas chave:
- Transições dinâmicas melhoram a compreensão e naturalidade nas animações de língua de sinais?
- Incluir movimentos de boca aumenta a compreensão e naturalidade?
Metodologia do Estudo
Para avaliar o impacto das transições dinâmicas, realizamos um estudo com sinalizadores nativos de LGP. Eles assistiram animações de sinalização que usavam tanto transições dinâmicas quanto constantes. Os participantes foram questionados sobre sua compreensão dos sinais e a naturalidade percebida das animações.
Mais participantes foram trazidos para avaliar os efeitos dos movimentos de boca. Ao remover expressões faciais, focamos totalmente em verificar se os movimentos de boca ajudariam iniciantes a entender melhor.
Resultados do Estudo: Transições Dinâmicas
No geral, os resultados mostraram que as transições dinâmicas foram geralmente comparáveis às transições constantes em termos de compreensão e naturalidade. No entanto, as transições dinâmicas melhoraram a compreensão para certos tipos de sinais, especialmente para aqueles que têm um único significado ou são enunciados compostos.
Os participantes expressaram preferência por transições dinâmicas, sugerindo que, embora não tenham mudado drasticamente a compreensão, ainda assim melhoraram a experiência geral.
Resultados do Estudo: Movimentos de Boca
Movimentos de boca - fazer movimentos com a boca como se estivesse falando - mostraram ter um impacto positivo forte na compreensão e nas notas de naturalidade. Participantes que viram animações que incluíam movimentos de boca relataram que entenderam os sinais melhor.
Isso sugere que os movimentos de boca podem ajudar a transmitir significado, especialmente para iniciantes que pode não estar familiarizados com todos os sinais. A presença de movimentos de boca ajuda a vincular os sinais aos seus equivalentes falados.
Discussão dos Resultados
Os estudos mostraram que, embora transições dinâmicas possam não melhorar a compreensão de forma universal, elas servem para tornar as animações de sinalização mais naturais. A adição de movimentos de boca foi significativa, indicando que misturar elementos falados e sinalizados pode melhorar a comunicação.
Os participantes também deram sugestões para melhorar a qualidade geral das animações de sinalização. Muitos comentaram sobre adicionar mais expressões faciais e incorporar movimentos corporais. Essas observações destacam a necessidade de crescimento contínuo no campo da animação de língua de sinais.
Desafios que Ainda Precisam ser Superados
Apesar dos resultados positivos, ainda existem desafios para melhorar a naturalidade dos avatares de sinalização. Muitos participantes notaram que as animações ainda podem parecer robóticas. As sugestões incluíam adicionar mais fluidez aos movimentos, melhorar a gramática nos sinais e considerar pausas que imitem os padrões de fala humana. Esses aspectos são vitais para fazer com que as animações de sinalização pareçam mais interações reais.
Trabalho Futuro
Pesquisas futuras vão se concentrar em integrar mais qualidades humanas aos avatares de sinalização. Isso pode envolver:
- Experimentar mais com expressões faciais.
- Incorporar vários estados emocionais na sinalização.
- Refinar os movimentos corporais para refletir um comportamento mais natural.
- Testar como diferentes estilos de sinalização podem ser representados nas animações.
Ao compreender e abordar essas áreas, podemos criar avatares de sinalização mais eficazes.
Conclusão
Resumindo, este trabalho representa um avanço na melhoria da qualidade das animações de língua de sinais. Ao introduzir transições dinâmicas e movimentos de boca, mostramos que é possível criar animações que refletem melhor as maneiras naturais como as pessoas sinalizam.
À medida que continuamos refinando essas técnicas, nosso objetivo é desenvolver avatares que facilitem a comunicação para pessoas surdas e melhorem suas interações com os outros. Através de colaboração contínua e pesquisa, o campo da animação de língua de sinais tem potencial para crescer e evoluir significativamente.
Título: Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing
Resumo: Current signing avatars are often described as unnatural as they cannot accurately reproduce all the subtleties of synchronized body behaviors of a human signer. In this paper, we propose a new dynamic approach for transitions between signs, focusing on mouthing animations for Portuguese Sign Language. Although native signers preferred animations with dynamic transitions, we did not find significant differences in comprehension and perceived naturalness scores. On the other hand, we show that including mouthing behaviors improved comprehension and perceived naturalness for novice sign language learners. Results have implications in computational linguistics, human-computer interaction, and synthetic animation of signing avatars.
Autores: Inês Lacerda, Hugo Nicolau, Luisa Coheur
Última atualização: 2023-07-12 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2307.06124
Fonte PDF: https://arxiv.org/pdf/2307.06124
Licença: https://creativecommons.org/licenses/by-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://docs.unity3d.com/Manual/class-Transition.html
- https://docs.unity3d.com/ScriptReference/Vector3-sqrMagnitude.html
- https://portallgp.ics.lisboa.ucp.pt/corpus_lgp/
- https://github.com/bootphon/phonemizer
- https://docs.aws.amazon.com/polly/latest/dg/ph-table-portuguese.html
- https://www.sign-lang.uni-hamburg.de/dgs-korpus/index.php/hamnosys-97.html
- https://docs.microsoft.com/en-us/previous-versions/windows/desktop/ms723627