Estrutura para Conjuntos de Dados Eficazes de Detecção de Discurso de Ódio

Detectar discurso de Ódio virou um trampo importante em processamento de linguagem natural (NLP). Vários métodos são usados pra entender quem tá sendo atacado, como coletar dados, como rotular isso, como escolher os métodos de detecção certos e como conferir se esses métodos funcionam bem. Um grande problema nessa área é que não temos Conjuntos de dados grandes e bem organizados que possam ser usados em geral. Isso rola porque detectar discurso de ódio envolve muitas opiniões e julgamentos pessoais.

Nesta discussão, vamos olhar pros problemas que cercam a detecção de discurso de ódio pela ótica dos dados. A gente vai mostrar uma estrutura clara que inclui vários passos importantes pra criar conjuntos de dados, focando na violência contra minorias sexuais. Usando essa estrutura, a galera pode seguir as melhores práticas ao fazer conjuntos de dados sobre discurso de ódio.

Nos últimos anos, a comunidade de NLP tem mostrado mais interesse em encontrar discursos de ódio e prejudiciais. Muitos workshops foram feitos pra apoiar a pesquisa nessa área, e várias tarefas foram criadas pra ajudar a dar sentido a conjuntos de dados populares.

Porém, detectar discurso de ódio não é fácil, porque muitas vezes depende de opiniões pessoais. Isso significa que conjuntos de dados feitos pra uma situação podem não funcionar bem em outra. Mesmo que pareçam aplicáveis, isso gera desafios pra diferentes aplicações que muitos usuários podem não perceber. Pra garantir que modelos de previsão funcionem de forma efetiva e justa com dados diferentes, é vital entender as decisões tomadas por quem cria os conjuntos de dados em cada passo.

Muitos pesquisadores analisaram diferentes etapas do processo de criação de dados pra mostrar como essas etapas podem ser complexas. Por exemplo, alguns apontaram como o viés não intencional dos Anotadores pode mudar o sentimento geral de um conjunto de dados. Isso destaca a necessidade de quem cria conjuntos de dados agir pra minimizar viés e seguir regras consistentes durante a rotulação.

Nosso trabalho visa conectar vários fatores em uma única estrutura, fornecendo um jeito claro de entender como esses fatores se relacionam e diferem entre si. Começamos com uma breve olhada nos problemas que afetam sistemas de detecção de discurso de ódio pela ótica dos dados. Depois, destacamos a necessidade de uma estrutura sólida que os futuros criadores de conjuntos de dados devem seguir. Em seguida, descrevemos nossa estrutura em detalhes e compartilhamos uma lista de fatores importantes a serem considerados ao criar um conjunto de dados. Por fim, discutimos os desafios em andamento na área de detecção de discurso de ódio antes de encerrar nosso estudo.

Pra simplificar, nossas principais contribuições são: (1) Uma análise da detecção de discurso de ódio pela perspectiva dos dados, apontando vários problemas que ocorrem quando conjuntos de dados não são generalizáveis; (2) Um plano de pesquisa proposto cobrindo sete aspectos chave importantes para a criação de conjuntos de dados; e (3) Um resumo das melhores práticas para pesquisadores e profissionais.

#A Necessidade de uma Estrutura Unificada

Ao criar um conjunto de dados de discurso de ódio, os autores enfrentam muitas decisões em cada passo. Isso começa se devem ou não rotular os dados, como escrever as regras de rotulação e como combinar os rótulos depois. Deixar muitas dessas decisões em aberto, o que tem sido comum no passado, pode levar a conjuntos de dados com características indesejadas, como viés, pouco acordo entre os anotadores, temas pouco claros ou até preocupações com privacidade.

Esses problemas afetam conjuntos de dados de NLP em geral, mas quando se trata de tarefas subjetivas como a detecção de discurso de ódio, é crucial evitar ambiguidade durante o processo de coleta de dados. A gente argumenta que fazer escolhas informadas em cada passo e ser transparente sobre essas escolhas ajuda pesquisadores no futuro a decidirem se um conjunto de dados pode ser útil para outras tarefas.

Nas próximas seções, apresentamos uma estrutura que delineia um plano de pesquisa extenso. Essa estrutura visa guiar os criadores de conjuntos de dados pra garantir que seus dados possam ser usados de forma justa e eficaz por outros.

#Estrutura Proposta para Discurso de Ódio

Essa estrutura fornece orientações sobre como criar conjuntos de dados de discurso de ódio confiáveis. Definimos sete checkpoints que abrangem todo o processo de criação de um conjunto de dados sobre discurso de ódio:

1. Definindo Odeio: É importante definir o que significa “ódio” para uma tarefa específica antes de coletar dados.

2. Escolhendo a Fonte de Dados: Analisar conjuntos de dados existentes pode ser útil pra encontrar uma fonte de dados que esteja alinhada com a tarefa.

3. Rotulando os Dados: Isso envolve estabelecer uma estrutura para como rotular os dados, conhecida como o esquema de anotação.

4. Escrevendo Diretrizes de Anotação: Instruções claras precisam ser fornecidas para os anotadores sobre como rotular os dados.

5. Configurando o Processo de Rotulação: O método de rotulação precisa ser consistente e confiável.

6. Escolhendo Anotadores: As experiências e identidades dos anotadores podem influenciar como eles percebem o discurso de ódio.

7. Agregando Rótulos: Depois de rotular, é necessário decidir como combinar esses rótulos em uma verdade clara.

É importante notar que os criadores não precisam seguir esses passos de forma estrita e linear, já que alguns passos podem se sobrepor.

#Definindo Ódio

Antes de criar um conjunto de dados, é essencial definir claramente o que “ódio” significa para essa tarefa específica. Dividir o ódio em componentes menores pode ajudar a criar uma definição precisa. Por exemplo, se o grupo-alvo está relacionado à orientação sexual, os pesquisadores podem optar por ignorar grupos dominantes na sua definição.

Definir ódio ajuda os anotadores a seguir diretrizes específicas e garante que eles rotulem os dados corretamente.

#Escolhendo a Fonte de Dados

Ao escolher dados, é melhor revisar conjuntos de dados existentes que possam atender às necessidades da tarefa. Um catálogo de conjuntos de dados de código aberto pode ser um bom ponto de partida pra encontrar dados relevantes. No entanto, se os conjuntos de dados existentes não atenderem à complexidade da tarefa, pode ser necessário criar um novo conjunto de dados.

Dados de redes sociais são frequentemente disponíveis e oferecem flexibilidade na busca por conteúdo. Também pode ser menos caro e mais acessível em comparação com fontes de texto tradicionais. Várias plataformas de redes sociais têm APIs que permitem que os usuários coletem grandes quantidades de dados. Em alguns casos, criar conjuntos de dados sintéticos com IA pode ser uma abordagem valiosa quando as fontes existentes são inadequadas.

#Definindo o Esquema de Anotação

Um esquema de anotação detalha como os rótulos são estruturados para uma tarefa de rotulação. Historicamente, o discurso de ódio tem sido categorizado como odioso ou não, mas uma abordagem mais flexível usando múltiplos rótulos pode fornecer uma melhor compreensão do conteúdo.

Muitos projetos recentes sugerem usar uma abordagem de múltiplos níveis para categorizar o discurso de ódio, permitindo rótulos mais nuançados. Esse método ajuda a capturar a complexidade do ódio e oferece maior expressividade nas anotações.

#Definindo Diretrizes de Anotação

Uma vez que o esquema de anotação está estabelecido, é essencial fornecer instruções claras aos anotadores sobre como rotular cada texto. As diretrizes podem incentivar ou desencorajar subjetividade com base nas necessidades da tarefa.

Por exemplo, se o objetivo é projetar um sistema de moderação rigoroso, diretrizes claras e específicas seriam necessárias. No entanto, se o objetivo é capturar opiniões variadas, uma abordagem menos precisa pode ser adequada.

#Escolhendo Anotadores com Identidades Específicas

As experiências dos anotadores podem influenciar muito sua compreensão do discurso de ódio. Por exemplo, pesquisadores descobriram diferenças em como vários grupos interpretam discurso de ódio com base nas suas experiências.

Se capturar uma gama de opiniões é essencial, pode ser benéfico ter anotadores de origens semelhantes ao grupo-alvo. Por outro lado, para conjuntos de dados muito estruturados, pode ser aceitável usar anotadores genéricos sem experiências compartilhadas.

Decisões sobre quem contratar como anotadores devem alinhar com os objetivos da tarefa e a diversidade esperada no conjunto de dados resultante.

#Configurando o Processo de Anotação

É crucial ter um processo de rotulação consistente e confiável ao trabalhar com grandes conjuntos de dados. Várias plataformas podem ajudar nisso. Por exemplo, serviços populares de crowdsourcing podem ajudar a reunir anotações, oferecendo controle sobre filtragem e análise do desempenho dos trabalhadores.

Usar a plataforma certa pode depender do tamanho do conjunto de dados e da disponibilidade de anotadores.

#Agregando Rótulos

Depois que os anotadores rotularam os dados, o próximo desafio é determinar como combinar esses rótulos pra formar uma conclusão clara sobre o que é considerado discurso de ódio. Decidir qual perspectiva deve ser considerada padrão pode variar dependendo dos interessados envolvidos, que podem incluir criadores do conjunto de dados, usuários e anotadores.

Uma técnica comum pra lidar com múltiplos rótulos é usar votação da maioria, embora o método escolhido pode depender do esquema de anotação. Pra dados mais nuançados, usar rótulos ordinais pode permitir maior flexibilidade na média dos rótulos.

#Conclusão

Vimos que construir conjuntos de dados pra detecção de discurso de ódio traz vários desafios. É importante considerar dados e metodologia em cada passo do processo. A estrutura apresentada enfatiza a necessidade de fazer escolhas informadas, manter declarações de dados detalhadas e oferecer contexto pra pontos de dados individuais.

Essa estrutura visa guiar pesquisadores quando eles criam conjuntos de dados pra detecção de discurso de ódio no futuro. Embora tenhamos coberto muitos aspectos da criação desses conjuntos de dados, ainda há outras opções que precisam ser exploradas, como gerenciar a amostragem de dados e lidar com dados multimodais.

À medida que essa área evolui, novos estudos precisarão abordar conjuntos de dados multilíngues, e pesquisadores são encorajados a considerar suas responsabilidades éticas nesse campo.