Viés de Gênero nas Sugestões de Carreira por IA

Modelos de Linguagem Grande (LLMs) como o chatGPT tão se tornando parte grande do nosso dia a dia. Eles ajudam com coisas como chatbots, assistência na escrita, ajuda nos estudos e suporte na programação. Mas, tem preocupações sobre os preconceitos na linguagem que eles usam. Alguns estudos anteriores mostraram que os LLMs podem mostrar preconceitos baseados em gênero quando sugerem profissões ou descrevem pessoas. Isso é especialmente preocupante porque esses preconceitos podem influenciar a forma como as crianças veem suas opções de trabalho no futuro.

O foco desse estudo é olhar pros preconceitos de gênero nos LLMs, especialmente em relação às opções educacionais em STEM (Ciência, Tecnologia, Engenharia e Matemática). Este estudo explora como LLMs como o chatGPT sugerem opções de carreira baseado no nome de uma criança, que pode implicar gênero. Vamos examinar as Sugestões em diferentes contextos culturais e educacionais, particularmente em países de língua inglesa, Dinamarca, Espanha e Índia. No fim, queremos ver se os LLMs reforçam estereótipos de gênero quando sugerem o que as crianças podem se tornar quando crescerem.

#Contexto

Desde que a OpenAI lançou o chatGPT em novembro de 2022, a Inteligência Artificial (IA) virou assunto quente. A galera tem opiniões misturadas sobre IA. Enquanto alguns veem isso positivamente, outros têm medo de que possa substituir empregos humanos ou invadir a privacidade. Curiosamente, só uma pequena porcentagem de pessoas se preocupa com preconceitos na IA, mesmo que esses preconceitos possam ter efeitos significativos na sociedade.

Esse estudo quer ajudar a entender os preconceitos em uma ferramenta de IA amplamente utilizada, o chatGPT, que tem milhões de usuários ao redor do mundo. LLMs como o chatGPT já tão sendo usados em várias aplicações, incluindo ferramentas educacionais. Mas, é crucial garantir que essas ferramentas sejam justas e não reforcem estereótipos prejudiciais.

A linguagem que usamos pode moldar nossos pensamentos e crenças. Se as crianças ouvem continuamente uma linguagem estereotipada de gênero, elas podem começar a aceitar esses estereótipos como realidade. Pesquisas mostram que as crianças podem perceber preconceitos de gênero muito cedo. Tem até casos onde meninas, apesar de se saírem igualmente bem em matemática, acreditam que são menos capazes que os meninos nessa matéria. Esse estudo enfatiza a necessidade de os LLMs darem sugestões sem preconceitos e justas.

#Foco da Pesquisa

A pergunta principal desse estudo é: "O chatGPT reforça estereótipos de gênero sobre escolhas educacionais em STEM, e em que grau?" Queremos investigar isso olhando como o chatGPT sugere caminhos de carreira pra meninos e meninas.

Vamos focar em crianças de 10 a 16 anos, uma época em que elas começam a tomar decisões importantes sobre educação. O contexto cultural é significativo, então vamos olhar pra quatro cenários diferentes: países de língua inglesa, Dinamarca, Espanha e Índia. Essa diversidade permite ver como as diferenças culturais influenciam as sugestões dadas pelo chatGPT.

#Metodologia

Entender e medir preconceito em LLMs pode ser complicado. Não existe um processo único pra identificar e avaliar esses preconceitos, como estudos anteriores já mostraram. A maioria dos LLMs disponíveis são de código fechado, o que limita a transparência sobre como eles funcionam. Pra esse estudo, usamos uma metodologia baseada em experiências reais de usuários e perguntas abertas.

Pedimos pro chatGPT dar uma lista de dez possíveis Carreiras futuras para diferentes nomes, representando nomes típicos de meninos e meninas. Contamos o número de sugestões de STEM e comparamos esses resultados entre culturas e faixas etárias.

#Preconceito em LLMs

O preconceito pode tomar várias formas em LLMs, e esse estudo foca no preconceito de gênero. Pesquisas anteriores destacam como os LLMs muitas vezes refletem preconceitos sociais encontrados nos dados nos quais foram treinados. Certos termos e funções, por exemplo, costumam ser descritos usando pronomes de gênero. LLMs podem associar "ele" a empregos técnicos e "ela" a profissões de cuidado com mais frequência.

#Origens do Preconceito

Existem várias razões pelas quais o preconceito aparece em LLMs. Pode vir dos algoritmos usados, preconceitos humanos introduzidos na anotação de dados e a forma como os dados são projetados e escolhidos. O próprio conjunto de dados de treinamento também é um fator importante. Se os dados contêm preconceitos históricos, o modelo provavelmente herdará e replicará esses preconceitos em suas saídas.

Por exemplo, uma parte significativa dos dados de treinamento vem de fontes como a Wikipedia, onde a representação de mulheres e outros grupos marginalizados é decepcionante. Se a maioria dos editores é masculina, o conteúdo que produzem provavelmente refletirá suas perspectivas, o que pode levar a saídas enviesadas em LLMs.

#Desenho Experimental

Pra nosso estudo, desenhamos um experimento centrado na pergunta: "O que eu posso me tornar quando crescer?" A entrada incluía um nome e uma idade, e pedimos ao chatGPT uma lista de dez opções de carreira. Escolhemos nomes comumente associados a meninos e meninas pra ver se as sugestões variavam com base no gênero.

O experimento envolveu diferentes faixas etárias. Por exemplo, crianças com cerca de 10 e 15 anos foram selecionadas, pois são momentos críticos pra fazer escolhas educacionais. Também garantimos usar nomes que eram familiares e típicos pra cada gênero no respectivo contexto cultural.

#Métodos Estatísticos

Pra analisar os dados coletados, usamos um método chamado Análise de Variância (ANOVA). Essa técnica estatística ajuda a entender se existem diferenças significativas entre grupos - no nosso caso, entre o número de sugestões de STEM dadas pra meninos e meninas.

Também implementamos um estudo piloto pra garantir que nossa metodologia fosse sólida antes de realizar o experimento principal. O estudo piloto indicou grandes diferenças de gênero no número de sugestões de STEM, o que ajudou a decidir nossos tamanhos de amostra e confirmar a abordagem adequada.

#Resultados

Os resultados do nosso estudo mostraram diferenças notáveis no número de sugestões de STEM feitas pra meninos em comparação com meninas. Em todas as quatro línguas examinadas, os meninos consistentemente receberam mais opções de carreira relacionadas a STEM do que as meninas. Por exemplo, em inglês, os meninos receberam uma mediana de 3 sugestões de STEM, enquanto as meninas receberam 2.

As diferenças de gênero foram particularmente pronunciadas entre as crianças mais velhas, com sugestões de carreiras em STEM aumentando à medida que a idade aumentava. No entanto, na maioria dos casos, as meninas receberam menos sugestões de STEM do que os meninos em ambos os níveis de idade.

#Discussão

Os achados sugerem que o chatGPT realmente reforça estereótipos de gênero ao sugerir carreiras futuras. Isso está alinhado com pesquisas existentes que mostram que preconceitos são comuns em LLMs. O estudo destaca como a exposição precoce a tais preconceitos pode moldar as crenças das crianças sobre suas habilidades e caminhos de carreira.

É importante lembrar que as sugestões dadas pelo chatGPT podem ter implicações reais sobre como as crianças veem seus futuros. Se estereótipos de gênero persistirem nas saídas de tais modelos, isso pode levar a consequências a longo prazo, reforçando lacunas existentes entre os Gêneros em campos de STEM.

Na nossa análise, também observamos como certas ocupações pareciam mais fortemente associadas a um gênero ou a outro. Por exemplo, os campos criativos frequentemente forneciam mais sugestões para meninas, enquanto os papéis técnicos eram inclinados para os meninos.

O estudo também encontrou variações entre diferentes línguas. Por exemplo, enquanto a tendência geral mostrava meninos recebendo mais sugestões de STEM, isso não era universalmente verdade. No contexto do catalão, as meninas receberam mais sugestões na categoria de Ciência do que os meninos, retratando um padrão de sugestão mais equilibrado nessa instância específica.

#Conclusão

Esse estudo destaca descobertas importantes sobre o preconceito de gênero nas sugestões fornecidas pelo chatGPT para carreiras futuras em STEM. Confirma que existem diferenças substanciais no número de sugestões de STEM feitas para meninos em comparação com meninas, com os meninos recebendo mais opções no geral.

As implicações desses achados são significativas, especialmente considerando como preconceitos precoces podem afetar a autoimagem e as escolhas das crianças. À medida que os LLMs continuam a ser integrados em ferramentas e recursos educacionais, se torna imperativo garantir que essas tecnologias promovam igualdade e não reforcem estereótipos prejudiciais.

Pesquisas continuadas nessa área são essenciais pra monitorar e abordar preconceitos em modelos de linguagem. Ao estar ciente e combater ativamente esses preconceitos, podemos apoiar um futuro mais justo e inclusivo pra todas as crianças, independentemente de gênero, na educação em STEM e além.