Criando Léxicos Bilíngues para Dialetos Alemães

Lexicons bilíngues são importantes pra entender várias línguas e pra tradução. Eles ajudam a combinar palavras numa língua com suas contrapartes em outra. Já foi feito um monte de pesquisa pra criar esses lexicons, especialmente pra línguas que têm bastante dado. Normalmente, esse processo tem duas etapas: achar textos em ambas as línguas e alinhar as palavras, usando grandes modelos de linguagem que já foram treinados com dados existentes.

Neste artigo, vamos ver como esse processo funciona pra alemão e seus dois Dialetos, o bávaro e o alamanho. Essa situação traz desafios específicos, como dados limitados, a proximidade dessas línguas e as diferentes maneiras que as pessoas escrevem palavras nos dialetos. Pra ver como nossa criação de lexicons tá funcionando, vamos observar o uso das palavras e quão parecidas elas são. Também vamos compartilhar dois conjuntos de dados. Um conjunto tem 1.500 sentenças bilíngues, enquanto o outro contém 1.000 pares de palavras bilíngues. Um especialista humano avaliou a similaridade desses pares.

#Introdução

Trabalhar com línguas que não têm muito dado é uma área chave de estudo na moderna processamento de linguagem natural (NLP). Modelos de linguagem pré-treinados têm muito sucesso com línguas de alto recurso porque usam grandes quantidades de dados. Mas quando se trata de línguas com recursos limitados, treinar e avaliar modelos pode ser complicado. No entanto, mais falantes nativos estão se envolvendo com tecnologia, o que cria uma demanda por suporte em várias línguas. Isso provoca pesquisas sobre aprendizado por transferência e métodos que funcionam em diferentes línguas.

Dialetos locais podem ser considerados línguas de baixo recurso. Entender dialetos traz seus desafios únicos. Por exemplo, não há muitos materiais escritos como jornais ou histórias disponíveis em dialetos. Além disso, conversas nas redes sociais são difíceis de coletar e analisar de forma confiável. Muitos dialetos não seguem regras de ortografia padrão e podem variar bastante. Também costumam se misturar com línguas padrão.

A maior parte das pesquisas sobre transferência cruzada de línguas foca em línguas de baixo recurso usando modelos multilíngues existentes. Certos fatores, como quão relacionada uma língua é àquela usada no treinamento e o sistema de escrita, afetam a performance. Não existe uma técnica única que sirva pra todo mundo, tornando importante estudar como essas representações funcionam pra línguas específicas ou famílias de línguas, e se lições aprendidas com línguas padrão podem ser aplicadas aos seus dialetos.

Este trabalho foca em quão bem modelos de transferência cruzada de línguas conseguem fazer julgamentos de similaridade entre o alemão e seus dois dialetos, bávaro e alamanho. Esses dialetos são falados em áreas do sul da Alemanha, Áustria, Suíça e partes de outros países. Vamos criar lexicons bilíngues que conectam palavras desses dialetos ao alemão padrão, usando dados brutos da Wikipedia. O primeiro passo é coletar sentenças de ambas as línguas, seguido do alinhamento das palavras usando ferramentas de tradução automática. O lexicon resultante geralmente mostra que uma palavra em alemão pode estar ligada a vários sinônimos de dialeto devido a diferenças de ortografia. Por fim, vamos avaliar as saídas com base em critérios como frequência de palavras e similaridade.

Resumindo, este estudo vai investigar quão bem métodos existentes criam lexicons bilíngues para os dialetos alemães e quais fatores afetam os resultados. Nosso objetivo é fornecer insights valiosos sobre como os modelos de transferência cruzada de línguas se saem em tarefas que envolvem extração de lexicons bilíngues e Alinhamento de Palavras, e compartilhar nossas descobertas com a comunidade mais ampla.

#Trabalhos Relacionados

Pesquisas anteriores sobre dialetos alemães geralmente focaram no processamento de fala. Vários conjuntos de dados foram criados para gravar dialetos falados em alemão. Alguns esforços incluem estabelecer corpora paralelos que combinem sentenças em alemão com traduções em vários dialetos. No processamento de texto escrito, estratégias de tradução automática foram usadas pra converter sentenças de dialetos em alemão padrão. Outros estudos enfrentaram tarefas como análise de sentimentos, etiquetagem de partes do discurso e identificação de dialetos. Fontes de dados brutos de dialetos incluem Wikipedia e plataformas de redes sociais.

Pra acessar os dados, a Wikipedia oferece artigos em mais de 300 línguas. Certas seções da Wikipedia podem até ser traduzidas por humanos. No nosso trabalho, usamos sentenças da Wikipedia tanto para os dialetos quanto pro alemão padrão. A Wikipedia bávara tem páginas pra diferentes dialetos, enquanto a Wikipedia alamanha também tem várias formas dialetais. Tratamos cada Wikipedia como uma única fonte pra nossos experimentos.

#Mineração de Bitexto

A mineração de bitexto foca em identificar sentenças que podem ser agrupadas, possivelmente porque estão conectadas. Pra encontrar tais pares, olhamos as conexões entre as Wikipedias dos dialetos e a Wikipedia em alemão padrão. No total, encontramos cerca de 11.000 páginas paralelas para o bávaro e 32.000 para o alamanho. Ao dividir essas páginas em sentenças, usamos um modelo de linguagem pra incorporar cada uma. Pra cada sentença em dialeto, procuramos sentenças semelhantes.

Usamos o toolkit SentenceTransformer pra essa tarefa, utilizando vários modelos. Os modelos que usamos incluem:

1. MBERT: Um modelo multilíngue treinado com dados da Wikipedia, suportando ambos os dialetos e o alemão.
2. GBERT: Um modelo treinado com várias fontes de dados em alemão.
3. GBERT-large-sts-v2: Uma versão especializada do GBERT para medir similaridade textual.
4. LaBSE: Um modelo criado a partir da Wikipedia multilíngue e pares de tradução.

Testamos diferentes abordagens pra representação de sentenças e descobrimos que o LaBSE produziu os melhores resultados na recuperação de sentenças semelhantes.

Pra nossa avaliação, tivemos anotadores humanos rotulando 1.500 instâncias de bitexto aleatórias pra sua similaridade. Os anotadores usaram uma escala de 1 a 5, onde 5 significava que as sentenças eram idênticas e 1 significava que eram não relacionadas. Os resultados mostraram que o LaBSE distinguiu efetivamente sentenças não relacionadas daquelas que eram semelhantes.

#Indução de Lexicons Bilíngues

Pra criar lexicons bilíngues, usamos o toolkit awesome-align, que se baseia em Modelos Pré-treinados. A ferramenta extrai alinhamentos de palavras das sentenças que coletamos. Focamos em como as palavras dos dialetos se alinham com palavras do alemão padrão. Os resultados revelaram que uma única palavra em alemão poderia se alinhar com várias versões de dialeto devido a diferenças de ortografia.

Pra avaliar a qualidade, avaliamos os pares de palavras produzidos. Descobrimos que a frequência de palavras desempenha um papel significativo em como as palavras se alinham com precisão. Palavras usadas com mais frequência no dialeto geralmente resultam em melhores traduções. Optamos por classificar os pares de palavras com base na sua frequência nos dialetos.

Como não tínhamos acesso a dicionários bilíngues de alta qualidade, procuramos recursos feitos pela comunidade pra validar nossas descobertas. O banco de dados Glosbe forneceu algumas informações, embora não fosse abrangente, especialmente para palavras infrequentes ou formas específicas de dialeto.

Além da comparação com dicionários, também tivemos revisores humanos avaliando a qualidade dos pares de palavras. Os resultados mostraram que palavras de baixa e média frequência se saíram bem na avaliação, enquanto palavras de alta frequência exibiram discrepâncias devido à variabilidade na ortografia e formas.

#Resultados

Nossos esforços de mineração de bitexto renderam mais de 17.000 pares bávaro-alemão e cerca de 50.000 pares alamanho-alemão retirados da Wikipedia. Notamos diferentes níveis de similaridade entre vários modelos, com MBERT e LaBSE correspondendo de perto às avaliações humanas. Isso sugere que modelos treinados com dados de dialeto podem melhorar significativamente a performance no alinhamento de palavras.

Pra os lexicons bilíngues, processamos mais de 15.000 pares de palavras bávaras e 68.000 pares alamanhos com base no nosso limite de corte selecionado. No entanto, observamos muitas instâncias de formas de palavras repetidas devido à natureza das diferenças de ortografia dos dialetos. Esforços futuros podem explorar o agrupamento de formas de palavras semelhantes pra melhorar a qualidade dos lexicons.

#Conclusão e Trabalhos Futuros

Este projeto desenvolveu uma maneira confiável de criar lexicons bilíngues para o alemão e seus dialetos. Nossa abordagem envolveu coletar sentenças paralelas da Wikipedia e alinhá-las pra extrair pares de palavras. Ambas as partes do processo dependeram de modelos pré-treinados, indicando sua utilidade nesse ambiente de baixo recurso.

Encontramos dois fatores principais que afetam a performance: a inclusão de dados específicos de dialeto no pré-treinamento e os objetivos específicos da tarefa para os modelos. No geral, estabelecemos que modelos existentes podem criar lexicons bilíngues de forma eficaz, mas mais trabalho é necessário em ferramentas especializadas adaptadas a dialetos.

No futuro, planejamos testar um ajuste fino adicional dos modelos de transferência cruzada usando dados de dialetos e explorar outros dialetos alemães. Ao desenvolver mais ferramentas específicas para dialetos, esperamos melhorar a qualidade e consistência da indução de lexicons bilíngues.

#Limitações

Embora este estudo ofereça uma visão rica sobre a criação de lexicons bilíngues para os dialetos bávaro e alamanho, várias limitações surgem devido à estrutura de baixo recurso.

1. Domínio Único: Nossa dependência da Wikipedia significa que estamos limitados a uma única fonte principal.
2. Sem Avaliação Extrínseca: Não conseguimos encontrar outros conjuntos de dados anotados para os pares de línguas, então usamos apenas métodos de avaliação intrínseca.
3. Foco em Palavras Únicas: O estudo não abordou expressões de várias palavras, o que poderia enriquecer a compreensão do uso da linguagem.

Apesar desses desafios, nosso método de combinar mineração de bitexto e alinhamento de palavras mostra potencial, embora possa levar a relações um-a-um e a uma dependência excessiva em padrões de superfície.

#Referências

Reconhecer as contribuições dos membros da equipe e o apoio de fontes de financiamento.

#Anotação de Bitexto

Verifique se duas sentenças são semelhantes ou não. Avalie quão próximas suas significações estão e identifique quaisquer diferenças significativas em detalhes. Observe também a estrutura das sentenças.

#Anotação de Lexicon Bilíngue

Avalie se uma tradução do alemão padrão para o bávaro é aceitável. Indique se é aceitável, não, ou se você não pode dizer com base no contexto.

#Comparação de Modelos

Compare modelos para julgar a similaridade de sentenças, focando nas pontuações humanas e medindo os valores de similaridade cosseno para ambos os dialetos.