Abordando o erro de gênero em sistemas automatizados

Misgendering é quando alguém é chamado usando termos incorretos para o seu gênero. Isso pode causar dano e é comum nas tecnologias do dia a dia. Mas não tem muita pesquisa sobre como consertar esse problema. Nosso trabalho visa preencher essa lacuna fazendo uma pesquisa com pessoas de gênero diverso nos EUA pra entender a opinião delas sobre como Sistemas Automatizados podem ajudar a evitar misgendering em textos.

#Insights da Pesquisa

A gente fez uma pesquisa pra entender as experiências de quem não se identifica como cisgênero. Coletamos opiniões sobre a frequência de misgendering, ideias de soluções e preocupações sobre intervenções automatizadas. Os resultados nos levaram a criar uma tarefa e um conjunto de dados focados em intervenções para misgendering.

#Participantes da Pesquisa

Nossa pesquisa teve 33 participantes. Eles relataram enfrentar misgendering principalmente em redes sociais, mas também em outras áreas como artigos de notícias e conteúdo gerado por IA. A maioria dos participantes demonstrou interesse em ter sistemas que pudessem detectar misgendering automaticamente.

#Recursos Desejados em Sistemas Automatizados

Os participantes tinham opiniões diferentes sobre se sistemas automatizados deveriam corrigir ou ocultar conteúdo misgendered. Muitos preferiram a Detecção automática, mas estavam divididos sobre correções automáticas em redes sociais. Eles estavam mais abertos a correções em conteúdo gerado por IA, citando preocupações sobre liberdade de expressão.

#Preocupações com Sistemas Automatizados

A pesquisa destacou preocupações sérias sobre intervenções automatizadas de misgendering. Os participantes se preocuparam com privacidade, a precisão desses sistemas e os riscos de perfilamento ou direcionamento de indivíduos com base em suas preferências de gênero.

#Definindo a Tarefa de Intervenção de Misgendering

Com base nos resultados da pesquisa, definimos a tarefa de intervenção de misgendering, que inclui duas sub-tarefas principais:

1. Detectar Misgendering: Identificar quando o texto usa termos de gênero incorretos.
2. Corrigir Misgendering: Alterar o texto onde ocorre misgendering, em situações onde a edição é apropriada.

Focamos em redes sociais e conteúdo gerado por IA como nossos domínios principais para essa tarefa.

#Criação do Conjunto de Dados

Construímos um conjunto de dados com 3.790 exemplos de textos de redes sociais e gerados por IA. Cada instância foi anotada para identificar misgendering e fornecer correções onde necessário.

#Método de Coleta de Dados

Coletamos conteúdo sobre indivíduos não cisgêneros notáveis, juntando posts do Twitter e YouTube. Esse conteúdo foi então anotado por trabalhadores que rotularam as instâncias de misgendering de acordo com os termos de gênero preferidos do indivíduo.

#Anotações e Acordo

As anotações foram feitas por múltiplos trabalhadores pra garantir qualidade. Na tarefa de detecção de misgendering, conseguimos um acordo entre anotadores de 87,4%.

#Avaliação do Modelo

Testamos sistemas existentes de processamento de linguagem natural (PNL) no nosso conjunto de dados pra estabelecer benchmarks. Descobrimos que estimular modelos de linguagem como o GPT-4 produziu os melhores resultados pra detectar misgendering, mas ainda tinha espaço pra melhorias.

#Detectando Misgendering

O GPT-4 obteve as maiores pontuações na detecção de misgendering no nosso conjunto de dados. No entanto, notamos problemas significativos ao entender padrões de linguagem complexos, como citações e gírias.

#Corrigindo Misgendering

Para a tarefa de Correção, avaliamos o desempenho de vários modelos. O GPT-4 corrigiu misgendering em 97% das instâncias, mantendo uma baixa taxa de edições desnecessárias.

#Direções Futuras

Embora nossos achados sejam promissores, mais pesquisas são necessárias pra refinar esses sistemas e envolver mais profundamente as comunidades de gênero diverso. Recomendamos estender nossas pesquisas pra coletar insights e feedback mais amplos.

#Principais Conclusões

1. Misgendering é um problema amplo com impactos significativos, principalmente em redes sociais e conteúdos de IA.
2. Sistemas automatizados mostram potencial pra detecção e correção, mas precisam ser cuidadosamente projetados pra atender às preocupações da comunidade.
3. Trabalhos futuros devem focar na colaboração com indivíduos de gênero diverso para intervenções efetivas.

#Conclusão

Nosso estudo marca um passo essencial pra entender e abordar o misgendering através da tecnologia, com um compromisso com pesquisa contínua e envolvimento da comunidade. Incentivamos mais trabalhos nessa área pra desenvolver sistemas que respeitem as identidades e preferências de gênero individuais.

#Agradecimentos

Agradecemos aos participantes da pesquisa e organizações que apoiaram nossa pesquisa. Nosso trabalho foi parcialmente financiado por várias bolsas e instituições focadas em avançar a pesquisa em IA.

#Considerações Éticas

Essa pesquisa é voltada apenas para fins acadêmicos. Deve-se ter cuidado pra proteger as identidades dos indivíduos envolvidos e garantir seu consentimento em futuros desenvolvimentos relacionados a esse trabalho.