Destaques da Campanha de Avaliação VarDial 2023 Tarefas de Processamento de Linguagem

A Campanha de Avaliação VarDial 2023 focou em três tarefas principais relacionadas ao processamento de linguagem. Essa campanha faz parte de um workshop que discute como trabalhar com idiomas, variedades e dialetos semelhantes. Este ano, três tarefas compartilhadas foram introduzidas: Detecção de Slots e Intenções para variedades de idiomas de baixo recurso (SID4LR), Discriminação entre Idiomas Semelhantes - Rótulos Verdadeiros (DSL-TL) e Discriminação entre Idiomas Semelhantes - Fala (DSL-S). Todas essas tarefas foram configuradas pela primeira vez durante a campanha deste ano.

#Tarefas Compartilhadas no VarDial 2023

A campanha de avaliação ocorreu de janeiro a fevereiro de 2023. O cronograma foi apertado porque o workshop estava agendado para maio. O anúncio para participação foi feito no início de janeiro, e os dados de treinamento foram liberados em 23 de janeiro. Os participantes tiveram até 27 de fevereiro para enviar seus resultados.

#Detecção de Slots e Intenções para Variedades de Idiomas de Baixo Recurso (SID4LR)

O SID4LR focou na detecção de slots e intenções em três variedades de idiomas de baixo recurso: o alemão suíço de Berna, o alemão sul-tirolês e o napolitano. O objetivo era classificar o que alguém quer fazer com base em suas palavras e identificar informações específicas na mensagem. A questão central era como transferir conhecimento para esses idiomas de baixo recurso, que muitas vezes não têm formas escritas padronizadas.

Os dados de treinamento para essa tarefa vieram de um conjunto de dados específico que incluía exemplos de diferentes idiomas. Os participantes podiam usar outras fontes para ajudar a melhorar seus modelos. As principais métricas de avaliação usadas foram Precisão para detecção de intenções e a pontuação F1 para detecção de slots.

#Participantes e Abordagens no SID4LR

Várias equipes participaram da tarefa SID4LR, cada uma usando métodos diferentes para enfrentar o problema. Uma equipe, a UBC, participou de ambas as tarefas de detecção de slots e intenções. Eles utilizaram vários modelos de linguagem e tentaram diferentes abordagens, incluindo a mudança de idiomas de origem e o uso de dados adicionais. A equipe UBC teve bons resultados com alguns idiomas, mas teve dificuldades com o alemão suíço, que se mostrou uma variedade desafiadora.

Outra equipe, Notre Dame, focou apenas na detecção de intenções. Eles aplicaram métodos que não dependiam de nenhum dado dos idiomas-alvo durante seu treinamento. A abordagem deles destacou a importância de usar as técnicas certas para lidar com o ruído nos dados, o que ajudou a melhorar seus resultados.

Apesar das diferenças nas abordagens, ambas as equipes se saíram melhor que o modelo base previamente estabelecido. O desafio no SID4LR foi particularmente evidente com o alemão suíço, onde os resultados ficaram abaixo dos outros dois idiomas, sugerindo que mais análises podem ser necessárias para explicar as lacunas.

#Discriminação entre Idiomas Semelhantes - Rótulos Verdadeiros (DSL-TL)

Na tarefa DSL-TL, os participantes tinham como objetivo identificar diferentes variedades de idiomas, como croata e sérvio ou português brasileiro e português europeu. Essa tarefa trouxe novos desafios ao permitir que frases pertencessem a várias variedades ao mesmo tempo, tornando-a mais complexa que as tarefas anteriores.

O conjunto de dados DSL-TL incluía textos de jornais anotados por falantes nativos dos países relevantes. Os participantes tinham duas faixas principais a seguir: uma para prever todos os rótulos e outra para focar apenas em variedades específicas.

#Participantes e Abordagens no DSL-TL

Quatro equipes enviaram seus trabalhos para a tarefa DSL-TL. A equipe VaidyaKane usou um modelo multilíngue ajustado para identificação de idioma. Eles combinaram isso com modelos específicos de idioma para classificar melhor o texto em suas respectivas variedades.

Outra equipe, a ssl, optou por um método mais tradicional usando uma Máquina de Vetores de Suporte (SVM) para classificação com base em n-grams de caracteres. Eles também exploraram o uso de nomes extraídos de fontes online para aprimorar seu modelo.

A equipe UnibucNLP utilizou um ensemble de classificadores para melhorar suas previsões. A abordagem deles demonstrou um desempenho sólido em ambas as faixas, especialmente na faixa fechada focando em três rótulos.

Os resultados mostraram que a tarefa era desafiadora, com muitas submissões enfrentando dificuldades para distinguir entre variedades semelhantes, especialmente quando rótulos neutros estavam envolvidos. No entanto, a equipe VaidyaKane se destacou na versão aberta da tarefa, sugerindo que o uso de dados adicionais se mostrou benéfico.

#Discriminação entre Idiomas Semelhantes - Fala (DSL-S)

A tarefa DSL-S tinha como objetivo identificar idiomas falados em dados de áudio. Vários idiomas foram selecionados de diferentes famílias linguísticas, destacando as diferenças nos padrões de fala. Os dados de treinamento foram obtidos do projeto Mozilla Common Voice, onde voluntários leram frases específicas em seus idiomas.

#Participantes e Abordagens no DSL-S

Infelizmente, mesmo que houvesse duas equipes registradas para essa tarefa, nenhuma enviou resultados. Os organizadores forneceram modelos base para dar aos participantes uma ideia de como poderiam se sair.

Detalhes sobre as bases indicaram que simplesmente usar características de áudio para classificação não foi eficaz devido à variabilidade dos falantes no conjunto de teste. Em contraste, modelos que combinavam transcrição com classificação baseada em texto tiveram um desempenho significativamente melhor.

Os desafios destacados no DSL-S sublinharam as dificuldades de identificação de idiomas em áudio, particularmente em ambientes de baixo recurso onde os dados são limitados. A esperança é que campanhas futuras atraiam mais interesse nessa área.

#Conclusão

A Campanha de Avaliação VarDial 2023 apresentou oportunidades empolgantes para pesquisadores se envolverem em tarefas de processamento de linguagem. As três tarefas compartilhadas mostraram diferentes aspectos de como lidar com idiomas e dialetos semelhantes. Com equipes e abordagens diversas, a campanha trouxe valiosos insights sobre identificação de idiomas, tanto em texto quanto em fala. Os participantes são incentivados a continuar explorando esses desafios, pois os avanços nesse campo podem levar a ferramentas e técnicas aprimoradas para o processamento de linguagem no futuro.