Como Modelos de Linguagem Falada Entendem Sintaxe

Nos últimos anos, os pesquisadores têm olhado como modelos de deep learning entendem a linguagem falada e escrita. Isso é importante porque saber como esses modelos funcionam pode ajudar a resolver problemas e melhorá-los. A maioria dos estudos anteriores focou em como esses modelos lidam com características do locutor, sons e características da linguagem na fala, enquanto analisaram a Sintaxe, ou a estrutura das frases, na escrita. Este artigo analisa especificamente como os modelos de linguagem falada entendem a sintaxe.

#Métodos Usados

Para estudar isso, usamos dois métodos principais que trabalham juntos, junto com alguns testes de referência para ver quanto de estrutura na linguagem esses modelos capturam. Testamos vários modelos de linguagem falada Auto-supervisionados e guiados visualmente para ver como a sintaxe está representada neles. Nosso objetivo era descobrir se e como esses modelos entendem as regras de construção de frases.

#Contexto

O deep learning é uma técnica bastante usada em modelos de linguagem modernos, especialmente aqueles baseados em uma estrutura chamada Transformer. Enquanto é fácil medir o quanto esses modelos performam em tarefas, é mais complicado entender os padrões detalhados de como funcionam e onde podem ter dificuldades. Para ajudar nessa compreensão, os pesquisadores analisam os padrões feitos pelos modelos quando processam a linguagem.

Para modelos de linguagem escrita, muitos estudos exploraram como eles processam diferentes tipos de estrutura da linguagem. No entanto, para modelos de linguagem falada, o foco tem sido mais sobre som e características do locutor ao invés de sintaxe. À medida que os modelos de fala melhoram, precisamos saber se eles aprendem sobre sintaxe de forma eficaz.

Se o conhecimento de sintaxe ajuda esses modelos a fazerem melhor seu trabalho, eles devem aprendê-lo se tiverem dados suficientes. Por exemplo, em uma frase como "Os autores do livro são franceses", se uma parte da frase estiver oculta, o modelo pode adivinhar melhor se entender a relação entre sujeito e verbo.

#Técnicas de Análise

Neste estudo, usamos dois métodos estabelecidos para analisar as representações aprendidas de modelos selecionados. Aplicamos esses métodos a modelos treinados de duas formas: um usando aprendizado auto-supervisionado, que significa aprender com os dados sem rotulagem humana, e outro usando Orientação Visual, que envolve aprender a partir de texto e imagens. Observamos como esses modelos processavam a linguagem em diferentes camadas de sua arquitetura.

Nossas descobertas indicam que todos os modelos capturaram alguma sintaxe, mas há notas importantes a considerar. Primeiro, a forma como a sintaxe é capturada em modelos de linguagem falada tende a ser mais fraca do que em modelos treinados em linguagem escrita. Grande parte da sintaxe que os modelos entendem pode se misturar com as palavras reais, em vez de ser baseada apenas na estrutura. Além disso, a mistura de auto-supervisão e orientação visual levou a um entendimento de sintaxe menor nas últimas camadas do modelo, enquanto a supervisão visual não mostrou esse padrão. Por último, descobrimos que modelos maiores geralmente capturaram sintaxe melhor.

#Pesquisa Relacionada

No campo do Processamento de Linguagem Natural, houve um grande interesse em examinar como modelos baseados em texto lidam com várias representações da linguagem. Muitas vezes, os pesquisadores observam correlações entre como ativações no modelo se relacionam com estruturas linguísticas como tipos de palavras ou dependências sintáticas.

Para modelos de linguagem falada, pesquisas anteriores se concentraram principalmente em sons, fonética e detalhes do locutor. Alguns estudos descobriram que certas camadas mais baixas dos modelos capturam fonemas de forma eficaz. Outros tentaram analisar a codificação de diferentes tipos de informação, incluindo sintaxe, mas esse trabalho ainda é limitado. Este estudo visa focar estritamente na sintaxe em modelos de linguagem falada, garantindo um design experimental robusto.

Usamos dois conjuntos de dados de áudio em inglês para nosso trabalho: LibriSpeech, que consiste em gravações de audiolivros, e SpokenCOCO, uma versão falada de um conjunto de dados de legendas de imagens. Filtramos as falas para gerenciar as demandas computacionais para nossos experimentos.

#Os Modelos

Para os testes, analisamos diferentes versões de modelos. Alguns foram Pré-treinados no LibriSpeech para reconhecer partes ocultas de características de áudio. Também incluímos modelos Ajustados especificamente para compreensão em inglês. Outro modelo que testamos foi o modelo visualmente fundamentado, significando que foi treinado não só em som, mas também em imagens. Por fim, incluímos um modelo baseado em texto para comparar como diferentes métodos de treinamento influenciaram a compreensão da sintaxe.

#Analisando a Sintaxe

Tivemos duas tarefas de análise para medir como bem esses modelos lidavam com a sintaxe.

#Análise de Profundidade da Árvore

Essa análise estima a profundidade máxima de uma estrutura de árvore que representa a sintaxe da frase a partir dos dados de ativação do modelo. Geramos dados dos modelos e os processamos para criar vetores de representação de frases. Esses vetores foram então comparados a estruturas sintáticas obtidas de ferramentas de parsing externas.

#Análise de Kernel de Árvore

Esse método verificou quão semelhantes eram as representações dos diferentes modelos, focando nas estruturas das árvores sintáticas. Comparando essas estruturas de árvore, conseguimos avaliar como bem os modelos capturaram a sintaxe em relação às referências existentes.

#Resultados

A partir de nossas investigações, descobrimos que modelos de linguagem falada entendem sintaxe de forma moderada. Os resultados mostraram que, enquanto modelos de linguagem falada conseguem capturar algumas estruturas sintáticas, fazem isso com limitações quando comparados a modelos baseados em texto. As descobertas sugerem que grande parte da sintaxe codificada nesses modelos de linguagem está entrelaçada com o significado das palavras em vez de ser puramente estrutural.

Modelos ajustados performaram melhor do que os pré-treinados no que diz respeito à codificação da sintaxe. As últimas camadas dos modelos mostraram uma queda notável em sua capacidade de codificar sintaxe, especialmente entre os modelos pré-treinados, enquanto isso foi menos pronunciado nas versões ajustadas.

Os resultados também indicaram que o método de treinamento tem um impacto significativo em como bem a sintaxe é entendida. Modelos treinados com orientação visual desempenharam de forma diferente em relação aos que usavam apenas auto-supervisão, mostrando uma notável falta de declínio na compreensão da sintaxe nas últimas camadas.

#Conclusão

No geral, nosso estudo confirmou que modelos de linguagem falada codificam sintaxe em um nível moderado. Destacou a importância do tamanho do modelo e dos métodos de treinamento em influenciar como a sintaxe é representada. Embora esta pesquisa tenha focado em conjuntos de dados em inglês, estudos futuros poderiam se expandir para outras línguas, o que proporcionaria uma compreensão mais profunda de como vários modelos tratam a sintaxe em diferentes contextos linguísticos.

Essa pesquisa contribui para a compreensão de como modelos de linguagem falada funcionam e estabelece as bases para investigações futuras que poderiam esclarecer mais sobre suas capacidades e limitações. Assim, abre novas avenidas para melhorar esses modelos e aprimorar nossa compreensão de machine learning no campo do processamento de linguagem.