Viés na Anotação de IA para Detecção de Discurso de Ódio

A Anotação de dados é o processo de rotular dados brutos, que é crucial para fazer os modelos de aprendizado de máquina funcionarem melhor. Esse processo pode ser afetado por Preconceitos das pessoas que fazem a rotulação. Com o aumento dos modelos de IA avançados, conhecidos como Modelos de Linguagem Grande (LLMs), como o ChatGPT, há uma chance de melhorar essa tarefa complexa. Embora pesquisas tenham analisado quão eficazes esses modelos de IA são em geral, este artigo foca nos preconceitos que eles têm ao rotular dados de Discurso de ódio.

Estudamos preconceitos em LLMs, especificamente versões como GPT 3.5 e GPT 4o, quando eles anotam dados para detecção de discurso de ódio. Nossa pesquisa examina preconceitos em quatro áreas principais: gênero, raça, religião e deficiência. Olhamos especialmente para o impacto em grupos vulneráveis dentro dessas categorias para analisar como os preconceitos aparecem nas anotações. Demos uma olhada mais atenta nos dados anotados para descobrir o que pode estar causando esses preconceitos. Nosso conjunto de dados personalizado para a detecção de discurso de ódio foi desenvolvido para essa pesquisa e também usamos o conjunto de dados ETHOS para comparar os resultados.

Este artigo tem como objetivo ajudar pesquisadores e profissionais a entender os preconceitos em LLMs quando usados para anotação de dados. Queremos abrir caminho para melhorias nos sistemas de detecção de discurso de ódio.

#Anotação de Dados em IA

No campo do aprendizado de máquina e Processamento de Linguagem Natural (NLP), a anotação de dados desempenha um papel vital. Vai além de apenas marcar dados. Inclui várias etapas, como classificar dados brutos, adicionar rótulos extras para contexto e atribuir pontuações para medir quão confiáveis são as anotações. Esse processo pode ser complicado e subjetivo, o que exige expertise e muito trabalho manual para rotular grandes conjuntos de dados.

Recentemente, modelos de IA grandes como a série GPT da OpenAI e o BERT do Google mudaram como abordamos essas tarefas, mostrando que podem entender e criar textos semelhantes aos humanos bem. Os LLMs poderiam ajudar a facilitar a anotação de dados automatizando tarefas e garantindo consistência em grandes conjuntos de dados. Eles podem ser ajustados para atender necessidades específicas, o que os torna atraentes para uso em uma variedade de domínios.

No entanto, usar Anotadores humanos ainda traz riscos de preconceitos, intencionais ou não, que podem afetar o desempenho dos sistemas de IA. Este artigo focará em como o preconceito aparece nos LLMs quando eles anotam dados de discurso de ódio. Queremos entender as questões em torno de preconceitos relacionados a gênero, raça, religião e deficiências, particularmente no contexto de grupos vulneráveis.

#Perguntas de Pesquisa

Nossa pesquisa tem como objetivo responder a várias perguntas importantes:

1. Existe evidência de preconceito em LLMs usados para detectar discurso de ódio?
2. Se o preconceito existir, que fatores podem contribuir para isso?
3. Que estratégias podem ajudar a reduzir esses preconceitos?

#Contribuições do Estudo

Na nossa pesquisa:

• Mostramos que LLMs como GPT-3.5 e GPT-4o exibem preconceitos de anotadores ao rotular discurso de ódio. Usar interpretações subjetivas leva a dados de treinamento distorcidos, o que pode afetar negativamente o desempenho do modelo.
• Analisamos quatro tipos de preconceitos: preconceito de gênero, preconceito racial, preconceito contra deficiências e preconceito religioso. Por exemplo, nossas descobertas incluem como o preconceito de gênero ocorre quando as identidades das pessoas afetam como elas rotulam discurso de ódio.
• Investigamos as causas subjacentes desses preconceitos e sugerimos soluções potenciais para abordar essas questões.

#Trabalhos Relacionados

O uso de LLMs transformou tarefas de NLP, tornando-as mais avançadas e contextualizadas. Modelos como BERT e GPT mostraram ótimos resultados em várias tarefas, incluindo classificação de texto e resposta a perguntas, devido à sua capacidade de aprender com grandes conjuntos de dados.

Vários estudos analisaram como os LLMs podem ajudar na anotação de dados. Por exemplo, algumas pesquisas exploraram como os LLMs poderiam criar explicações compreensíveis para previsões de modelos de aprendizado de máquina. Outros demonstraram a eficiência dos LLMs para acelerar o processo de anotação, reduzindo o tempo necessário para rotulagem manual.

Houve um crescente interesse em usar LLMs para anotar dados em diferentes tarefas de NLP. Estudos descobriram que usar modelos como GPT-3 pode reduzir significativamente os custos de rotulagem. Além disso, pesquisas apontaram que os LLMs podem produzir melhores resultados do que anotadores humanos em algumas tarefas de classificação.

A pesquisa sobre preconceitos em modelos de NLP é importante. Estudos anteriores destacaram dois tipos principais de preconceito: danos alocativos e representacionais. Diferentes métodos foram explorados para detectar e reduzir esses preconceitos em tarefas relacionadas à compreensão e geração de linguagem.

#Fluxo de Trabalho e Coleta de Dados

Nosso estudo começa com uma seleção cuidadosa de termos relacionados ao discurso de ódio a partir de um banco de dados que identifica palavras de discurso de ódio. Coletamos tweets que incluíam esses termos usando a API do Twitter, resultando em um conjunto de dados com 3003 tweets. Para anotar esses dados, envolvemos três estudantes de pós-graduação que categorizaram cada tweet como "Odioso" ou "Não Odioso".

Reconhecendo problemas em métodos anteriormente usados que frequentemente levavam a desentendimentos entre os anotadores humanos, nosso estudo desenvolveu diretrizes mais claras e consistentes para rotular discurso de ódio. Isso envolveu criar um entendimento compartilhado sobre o que constitui discurso de ódio. Fornecemos definições detalhadas e informações contextuais para ajudar os anotadores.

Cada tweet foi avaliado pelos três anotadores independentes, e a decisão da maioria determinou o rótulo final.

#Anotação de Dados por Modelos de IA

Em seguida, fizemos com que nosso conjunto de dados fosse anotado pelos LLMs ChatGPT usando tanto o GPT-3.5 quanto o GPT-4o. Fornecemos prompts específicos para instruir o modelo sobre como anotar os dados. Usando várias perspectivas, analisamos como os preconceitos poderiam se manifestar nas anotações.

#Resultados e Discussão

Também olhamos para os mesmos preconceitos no conjunto de dados ETHOS e encontramos diferenças significativas nos resultados de ambos os conjuntos de dados quando anotados pelos LLMs. Nossa análise mostrou preconceitos claros em como diferentes grupos foram tratados nas rotulações.

Por exemplo, houve discrepâncias notáveis em como indivíduos de diferentes raças percebiam e rotulavam a linguagem ofensiva. Descobrimos que a origem cultural influencia como as pessoas interpretam discurso de ódio, levando a diferentes resultados de rotulagem.

#Análise de Preconceitos

• Preconceito Racial: Nossas descobertas indicaram que pessoas de diferentes origens raciais rotulavam declarações ofensivas de maneira diferente. Por exemplo, um anotador asiático pode reagir fortemente a termos relacionados à sua etnia, enquanto um não-asiático pode não ver a mesma urgência.

• Preconceito de Gênero: Notamos sensibilidades variadas na rotulação de discurso odioso entre os anotadores com base no gênero. Anotadores femininos mostraram uma maior inclinação para rotular linguagem agressiva como odiosa em comparação com seus colegas masculinos.

• Preconceito Religioso e de Deficiência: Diferenças também foram evidentes entre anotadores com várias crenças religiosas e deficiências. Alguns termos foram sinalizados como odiosos mais frequentemente por aqueles que se identificavam com grupos marginalizados, destacando como experiências pessoais moldam percepções de discurso de ódio.

#Conclusão

Nosso estudo destaca a presença de preconceitos de anotadores em modelos de IA usados para detecção de discurso de ódio. Embora LLMs como GPT-3.5 e GPT-4o tragam oportunidades para uma anotação de dados melhorada, eles também carregam o risco de amplificar preconceitos prejudiciais.

Recomendamos abordagens para reduzir esses preconceitos, como desenvolver diretrizes específicas durante o processo de treinamento ou anotação. Estudos futuros devem se concentrar em entender melhor esses preconceitos e como eles podem ser controlados.

Esta investigação contribui com insights valiosos sobre os preconceitos em jogo dentro dos Modelos de Linguagem Grande. Isso abre mais discussões sobre garantir justiça e confiabilidade nos processos de anotação de dados movidos por IA. À medida que os LLMs se tornam cada vez mais integrados nas tarefas do dia a dia, é essencial continuar abordando esses preconceitos para minimizar possíveis impactos negativos na sociedade.