Enfrentando o Sexismo Online: O Desafio EXIST
Esforços pra detectar e lidar com o sexismo nas redes sociais.
― 6 min ler
Índice
O crescimento das redes sociais deixou a necessidade de encontrar maneiras de detectar e lidar com o Sexismo online. Muitas pessoas enfrentam sexismo e comportamentos nocivos nesses espaços, e é super importante criar um ambiente mais seguro e respeitoso. Sistemas automatizados que conseguem reconhecer casos de sexismo podem ajudar a resolver esse problema. Mas, detectar sexismo é complicado porque pode variar muito em forma e significado, ainda mais quando diferentes pessoas têm opiniões diferentes sobre o que é considerado sexista.
Desafios para Detectar Sexismo
As plataformas de redes sociais costumam ter dificuldade em gerenciar a quantidade enorme de conteúdo criado pelos usuários. Mesmo que plataformas como o Twitter estejam tentando encontrar métodos melhores para identificar e remover conteúdos de ódio, ainda enfrentam essa dificuldade. Ferramentas automatizadas podem ter um papel fundamental tanto na detecção de comportamentos sexistas quanto na avaliação de com que frequência isso acontece nessas plataformas. Compreender quais formas de sexismo são mais comuns e como essas mensagens se espalham também é importante.
A maioria dos sistemas tradicionais para detectar sexismo depende de rótulos fixos que podem não capturar toda a complexidade do problema. As expressões sexistas podem ser subjetivas, o que torna difícil avaliá-las. Uma metodologia chamada perspectivismo pode ajudar a melhorar a detecção levando em consideração diversos pontos de vista e opiniões.
Visão Geral do Desafio EXIST
O desafio EXIST tem como objetivo identificar e entender diferentes tipos de sexismo que aparecem nas redes sociais, focando em uma ampla gama de expressões, desde comentários depreciativos até implicações mais sutis. A edição de 2023 do desafio EXIST tem três tarefas principais que os participantes devem completar:
Tarefa 1: Identificação de Sexismo - Os participantes precisam classificar se um tweet contém expressões sexistas ou não.
Tarefa 2: Intenção da Fonte - Os participantes se concentram em identificar a intenção do autor por trás da mensagem, classificando como direta, relatada ou julgadora.
Tarefa 3: Categorização de Sexismo - Os participantes categorizam tweets em diferentes tipos de sexismo, como objetificação, misoginia e violência sexual.
Metodologia
Para participar do desafio EXIST, foi desenvolvida uma abordagem em múltiplas etapas. Essa estratégia se baseia em grandes Modelos de linguagem (LLMs) para classificar e identificar casos de sexismo. O objetivo geral é prever tanto rótulos suaves quanto rígidos. Rótulos suaves refletem as opiniões diversas de diferentes anotadores, enquanto rótulos rígidos representam uma classificação mais definitiva.
Etapas da Abordagem
Selecionando Hiperparâmetros: O primeiro passo envolve ajustar os modelos para encontrar as melhores configurações. Isso exige treinar os modelos várias vezes com configurações diferentes e avaliar seu desempenho.
Treinamento dos Modelos: Uma vez encontradas as melhores configurações, o próximo passo é treinar os modelos usando uma coleção de tweets. Isso permite que os modelos aprendam diretamente com os rótulos suaves fornecidos por anotadores que avaliam se um tweet é sexista.
Fazendo Previsões: Após o treinamento, os modelos fazem previsões sobre um novo conjunto de tweets. Essas previsões resultam em rótulos suaves e rígidos, escolhendo o rótulo mais provável com base no treinamento.
Ajustando Previsões: Um ajuste final é feito para garantir que as previsões se encaixem no número de anotadores. Essa etapa ajuda a alinhar os resultados previstos mais perto do que os anotadores concordaram.
Resultados e Desempenho
Os resultados do desafio mostraram como os modelos propostos foram eficazes em identificar sexismo nas diferentes tarefas. Na Tarefa 1, o modelo alcançou uma posição notável em comparação com outros competidores, mostrando sua eficácia em capturar casos de sexismo em várias línguas.
Na Tarefa 2, que era mais complexa, o modelo ainda se saiu bem, indicando que distinguir a intenção por trás do conteúdo sexista é viável para o sistema. A Tarefa 3, que requer distinções ainda mais sutis entre tipos de sexismo, resultou em alcançar a classificação mais alta, demonstrando a capacidade do modelo em lidar com classificações complexas.
Cada tarefa mostrou que o uso de métodos de conjunto - que combinam os pontos fortes de diferentes modelos - melhorou muito os resultados. Esse método possibilitou um desempenho melhor do que usar modelos individuais.
Discussão sobre os Resultados
Os achados da competição têm várias implicações. Um aspecto notável é que a capacidade de ajustar previsões com base no número de anotadores levou a resultados melhores. Isso mostra que considerar opiniões diversas pode fazer diferença em tarefas de detecção, especialmente em temas subjetivos como o sexismo.
Além disso, explorar diferentes tipos de sexismo destaca a necessidade de sistemas de detecção mais sutis. Os sistemas atuais precisam não apenas identificar se o conteúdo é sexista, mas também entender as várias formas que ele pode assumir. Isso aponta para a complexidade inerente em abordar problemas sociais como o sexismo em espaços digitais.
Direções Futuras
Olhando para frente, há várias áreas para melhoria e investigação. Métodos de conjunto mais complexos podem ser explorados para ver se ganhos adicionais de desempenho podem ser alcançados. Outros grandes modelos de linguagem também poderiam ser adicionados à abordagem atual para verificar se proporcionam resultados melhores.
Incluir outros recursos, como análise de sentimentos ou características do tweet (como o uso de emojis), poderia aumentar o poder preditivo dos modelos. Além disso, mais pesquisas sobre as características dos usuários, como seus antecedentes ou demografia, poderiam fornecer insights mais profundos sobre como o sexismo se manifesta em diferentes contextos.
Conclusão
Resumindo, lidar com o sexismo nas redes sociais é uma tarefa vital que exige ferramentas e métodos sofisticados. O desafio EXIST lançou luz sobre várias maneiras de melhorar a detecção de sexismo ao incorporar perspectivas diversas e aproveitar abordagens tecnológicas avançadas. Ao continuar refinando esses modelos e expandindo nossa compreensão do problema, podemos trabalhar para promover um ambiente online mais respeitoso para todos.
Título: AI-UPV at EXIST 2023 -- Sexism Characterization Using Large Language Models Under The Learning with Disagreements Regime
Resumo: With the increasing influence of social media platforms, it has become crucial to develop automated systems capable of detecting instances of sexism and other disrespectful and hateful behaviors to promote a more inclusive and respectful online environment. Nevertheless, these tasks are considerably challenging considering different hate categories and the author's intentions, especially under the learning with disagreements regime. This paper describes AI-UPV team's participation in the EXIST (sEXism Identification in Social neTworks) Lab at CLEF 2023. The proposed approach aims at addressing the task of sexism identification and characterization under the learning with disagreements paradigm by training directly from the data with disagreements, without using any aggregated label. Yet, performances considering both soft and hard evaluations are reported. The proposed system uses large language models (i.e., mBERT and XLM-RoBERTa) and ensemble strategies for sexism identification and classification in English and Spanish. In particular, our system is articulated in three different pipelines. The ensemble approach outperformed the individual large language models obtaining the best performances both adopting a soft and a hard label evaluation. This work describes the participation in all the three EXIST tasks, considering a soft evaluation, it obtained fourth place in Task 2 at EXIST and first place in Task 3, with the highest ICM-Soft of -2.32 and a normalized ICM-Soft of 0.79. The source code of our approaches is publicly available at https://github.com/AngelFelipeMP/Sexism-LLM-Learning-With-Disagreement.
Autores: Angel Felipe Magnossão de Paula, Giulia Rizzi, Elisabetta Fersini, Damiano Spina
Última atualização: 2023-07-07 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2307.03385
Fonte PDF: https://arxiv.org/pdf/2307.03385
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.