WADER: Um Novo Método para Analisar a Intimidade em Tweets

A Intimidade é uma parte vital dos relacionamentos humanos, e a linguagem tem um papel importante em expressar esse fechamento. Analisando como a intimidade aparece nos textos, podemos aprender sobre as normas sociais que existem em diferentes contextos. Essa análise também pode ajudar a testar quão bem os modelos de computador conseguem entender interações sociais. Neste estudo, apresentamos um método chamado WADER, que significa estratégia de rotulagem fraca para Aumento de Dados em tarefas de regressão de texto. Esse método ajuda a aumentar a quantidade de dados disponíveis para analisar textos, lidando com problemas como desequilíbrio e escassez de dados. Aplicamos o WADER em diferentes idiomas e comparamos seu desempenho com modelos de linguagem existentes para ver como ele funciona.

#A Importância da Intimidade na Linguagem

Muitos especialistas reconhecem a intimidade como um componente central dos relacionamentos humanos. Pesquisas mostram que podemos modelar a intimidade de um jeito computacional, tornando isso um foco importante nos estudos de linguagem. Olhar como a intimidade é transmitida na forma escrita oferece insights valiosos sobre expectativas sociais e pode ajudar a avaliar quão bem os modelos de computador entendem esses conceitos. Além disso, a intimidade é vital para o crescimento pessoal e a saúde emocional, e a linguagem é a principal ferramenta para expressá-la.

Quando as pessoas interagem, usam a linguagem de maneira estratégica para atender suas necessidades, enquanto seguem as normas sociais. A Tarefa 9 do SemEval 2023 se concentra em examinar a intimidade em várias línguas através de Tweets. Os dados de treinamento para esse projeto incluem tweets em línguas como inglês, espanhol e chinês, enquanto os dados de teste envolvem também hindi, árabe, holandês e coreano.

#WADER: Uma Nova Abordagem

O WADER introduz uma abordagem nova que usa aumento de dados para enfrentar dois problemas principais: A) distribuição desigual de rótulos nos dados e B) criação de dados para idiomas que ainda não foram vistos. O WADER amostras textos que estão sub-representados na distribuição de rótulos, os traduz e verifica a qualidade dessas traduções em relação a um modelo base. Testamos esse método em modelos de linguagem avançados como XLM RoBERTa e XLNET. Nossos achados sugerem que o WADER oferece uma solução promissora para problemas de dados em tarefas de regressão de texto.

#Metodologia

#Técnicas de Aumento de Dados

O desequilíbrio e a escassez de dados são desafios comuns em conjuntos de dados do mundo real. Pode ser caro coletar grandes volumes de dados e obter feedback de especialistas sobre eles. Como resposta, as pesquisas exploraram várias estratégias para trabalhar com dados limitados. Geralmente, o aumento de dados é feito de duas maneiras:

1. Aumento de Dados Condicional: Esse método depende do rótulo alvo para guiar a geração de novos dados.
2. Aumento de Dados Incondicional: Esse trabalha com as características do próprio conjunto de dados.

Técnicas comuns para aumento de dados incluem trocar palavras por sinônimos, inserções aleatórias, trocas e exclusões. No entanto, esses métodos podem resultar em frases menos coerentes. A retrotradução ganhou atenção porque pode produzir frases diversas sem perder clareza ou significado. Essa técnica envolve traduzir um texto para outro idioma e depois de volta para o idioma original para criar um conteúdo variado.

O WADER usa supervisão fraca durante a fase de teste de dados, que é parte de um método conhecido como Aprendizado Semi-Supervisionado (SSL). Essa abordagem combina dados rotulados com pontos de dados não rotulados para melhorar o treinamento do modelo.

#Visão Geral da Tarefa

A Tarefa 9 do SemEval 2023 foca na análise da intimidade em tweets em dez idiomas. Este projeto é organizado pela Universidade de Michigan e pela Snap Inc. A intimidade é uma parte crucial das interações humanas, e explorá-la em dados textuais pode ter implicações significativas para a linguística computacional. O conjunto de dados contém tweets em seis idiomas para treinamento, além de outros idiomas para teste.

#Descrição e Qualidade dos Dados

O conjunto de dados usado nesta tarefa é chamado de MINT, ou conjunto de dados de análise de intimidade Multilíngue. Ele consiste em 9.491 tweets em idiomas como inglês, chinês e espanhol. Cada tweet foi avaliado em uma escala de 5 pontos de intimidade, onde 1 significa "Nada íntimo" e 5 significa "Muito íntimo". A distribuição dessas classificações é desigual, com muitos tweets caindo na parte mais baixa da escala.

#Implementação do WADER

O WADER realiza o aumento de dados através de várias etapas:

1. Amostragem Baseada em Distribuição: O WADER identifica tweets que estão sub-representados e os seleciona para aprimoramento.
2. Tradução: Para idiomas não vistos, traduz tweets selecionados para o idioma alvo. Para idiomas já vistos, traduz tweets para todos os outros idiomas e de volta para o original.
3. Validação de Rótulo: Um modelo base é treinado para verificar a qualidade das traduções e identificar quaisquer discrepâncias.
4. Amostragem Baseada em Diferença: O modelo avalia traduções com base na diferença entre os valores previstos e os esperados. Isso ajuda a selecionar traduções de maior qualidade para análise posterior.

Finalmente, o modelo ajusta modelos de linguagem pré-treinados como XLM RoBERTa e XLNET para ver como eles se saem no conjunto de dados aumentado.

#Configuração Experimental

Usamos os conjuntos de dados originais de treinamento e teste, reservando 15% dos dados de treinamento para validação. A estrutura do WADER depende de modelos de linguagem pré-treinados disponíveis em plataformas de código aberto. Aplicamos métodos de otimização populares e definimos parâmetros específicos, como tamanho de lote e taxas de aprendizado, para o treinamento.

#Resultados e Insights

Nossos experimentos revelaram várias descobertas interessantes. Vimos que o WADER melhorou em relação aos modelos existentes na maioria dos casos, especialmente quando se tratava de idiomas não vistos. A eficácia do método demonstra como o aumento de dados é importante para criar conjuntos de treinamento mais equilibrados e diversos.

#Comparação de Desempenho

Ao comparar modelos de linguagem, descobrimos que o XLM RoBERTa geralmente superou o XLNET na maioria dos idiomas. O XLNET só teve um desempenho melhor em inglês, enquanto teve dificuldades com idiomas que usam scripts não latinos. Isso destaca a importância do treinamento multilíngue e a necessidade de considerar cuidadosamente as características da língua ao desenvolver modelos.

#Impacto da Qualidade da Tradução

A qualidade das traduções teve um papel crucial no desempenho do WADER. Traduções ruins levaram a aumentos de dados pouco confiáveis. Os resultados mostraram que um vocabulário específico é essencial para determinar o nível de intimidade, e substituições acidentais de palavras durante a tradução poderiam afetar as descobertas.

#Conclusão e Direções Futuras

Em conclusão, o WADER oferece uma nova estrutura de aumento de dados para analisar a intimidade do texto que aborda efetivamente o desequilíbrio e a escassez de dados. As descobertas enfatizam a importância de usar dados diversos e de alta qualidade para treinar modelos de linguagem. Este estudo abre novas avenidas para pesquisas futuras em linguística computacional, focando em como a linguagem afeta interações sociais e relacionamentos. Trabalhos futuros poderiam explorar estratégias adicionais para melhorar a qualidade das traduções e expandir as capacidades dos modelos de linguagem em diferentes contextos.