Examinando o viés de modelo de linguagem em dialetos do inglês

Nos últimos anos, tem havido um interesse crescente em como modelos de linguagem, como o ChatGPT, respondem a diferentes formas de inglês. Esses modelos às vezes mostram viés, tratando certos dialetos, geralmente os considerados "padrão", de maneira mais favorável do que outros. Este estudo analisa como o ChatGPT interage com dez dialetos do inglês, incluindo variedades padrão e várias não-padrão, que são frequentemente faladas por comunidades menores ou marginalizadas.

#Contexto sobre Variedades de Linguagem

O inglês é falado de várias formas ao redor do mundo. Os dois dialetos padrão mais reconhecidos são o Inglês Americano Padrão (SAE) e o Inglês Britânico Padrão (SBE). Além desses, existem várias variedades não-padrão amplamente faladas, como o Inglês Afro-Americano, o Inglês Indiano, o Inglês Jamaicano, entre outros. Cada uma dessas variedades tem suas características únicas, incluindo vocabulário, gramática e pronúncia. Infelizmente, falantes dessas variedades não-padrão enfrentam discriminação com base em seus dialetos.

#Objetivo do Estudo

O principal objetivo deste estudo é avaliar como modelos de linguagem como o ChatGPT respondem a diferentes dialetos. A pesquisa foi projetada para responder a duas perguntas-chave:

1. Como as respostas do ChatGPT diferem com base no dialeto do inglês utilizado?
2. Essas respostas prejudicam falantes de variedades não-padrão promovendo Estereótipos ou mal-entendidos?

#Métodos Usados no Estudo

Para realizar essa pesquisa, utilizamos duas versões do modelo ChatGPT: GPT-3.5 Turbo e GPT-4. Coletamos exemplos de textos escritos por falantes nativos de cada dialeto. O texto foi então inserido nos modelos, e as respostas foram analisadas em relação a diferentes características e qualidades linguísticas.

Os dez dialetos incluídos neste estudo são:

• Inglês Americano Padrão (SAE)
• Inglês Britânico Padrão (SBE)
• Inglês Afro-Americano (AAE)
• Inglês Indiano
• Inglês Irlandês
• Inglês Jamaicano
• Inglês Queniano
• Inglês Nigeriano
• Inglês Escocês
• Inglês de Cingapura

Para cada dialeto, comparamos as respostas geradas pelos modelos para entender como eles mantinham características da linguagem original e se suas respostas transmitiam respeito e compreensão.

#Resultados do Estudo

#Respostas a Diferentes Dialetos

Os resultados mostram que o ChatGPT tende a se basear em variedades padrão do inglês ao gerar respostas. Ele mantém muitas características distintivas do SAE e SBE, mas mostra uma redução marcante nas características das variedades não-padrão. Por exemplo, as respostas ao SAE tinham uma taxa de retenção de características muito mais alta em comparação com os outros dialetos. O estudo encontrou que:

• O SAE manteve cerca de 78% de suas características nas respostas.
• O SBE manteve cerca de 72%.
• As variedades não-padrão tiveram taxas de retenção muito mais baixas, com algumas tão baixas quanto 2-3%.

Curiosamente, a retenção de características dos dialetos não-padrão parecia correlacionar-se com o número estimado de falantes de cada variedade. Quanto mais falantes um dialeto tinha, mais provável era que o modelo mantivesse suas características. Isso sugere que modelos como o ChatGPT são treinados mais efetivamente em conjuntos de dados que contêm muitas informações sobre variedades padrão.

#Avaliação da Qualidade das Respostas

Também perguntamos para falantes nativos avaliarem a qualidade das respostas. O feedback destacou vários problemas:

• Respostas a variedades não-padrão eram muitas vezes vistas como mais desdenhosas e menos respeitosas.
• Os falantes nativos acharam que a compreensão do input era menor quando o modelo respondia a variedades não-padrão, com 10% a menos de compreensão em comparação com variedades padrão.
• Muitas respostas carregavam estereótipos, com um aumento de 16% na estereotipação em comparação com variedades padrão.

Quando o modelo foi solicitado a imitar o estilo dos dialetos não-padrão, os problemas geralmente pioraram. Essa imitação reduziu ainda mais a compreensão e aumentou a estereotipação nas respostas.

#Diferenças entre GPT-3.5 e GPT-4

O estudo também notou que o GPT-4 mostrou algumas melhorias em relação ao GPT-3.5 em termos de compreensão e acolhimento. No entanto, também introduziu um aumento significativo na estereotipação, indicando que, embora melhorias sejam feitas em algumas áreas, elas podem vir com novos desafios.

#Implicações dos Resultados

Os resultados deste estudo têm implicações importantes para o desenvolvimento e uso de modelos de linguagem. Um viés acentuado em relação a variedades padrão pode reforçar desigualdades existentes e contribuir para a discriminação. Isso pode desencorajar falantes de dialetos não-padrão de usarem esses modelos de linguagem, que deveriam ser acessíveis a todos, independentemente da forma de inglês que falam.

#Conclusão

Este estudo lança luz sobre os preconceitos presentes em modelos de linguagem ao interagir com vários dialetos do inglês. Os resultados sugerem que, embora tenham havido avanços nas capacidades de modelos como o ChatGPT, disparidades significativas ainda persistem em como eles atendem diferentes comunidades linguísticas. Reconhecendo esses preconceitos, desenvolvimentos futuros podem buscar criar uma experiência mais inclusiva e equitativa para usuários ao redor do mundo.

#Direções Futuras

Mais pesquisas são necessárias para examinar como modelos de linguagem respondem a dialetos em outras línguas, já que a questão da discriminação linguística não se limita ao inglês. Entender e mitigar o viés em modelos de linguagem deve ser uma prioridade para os desenvolvedores, a fim de garantir interações justas e respeitosas para todos os usuários.

#Agradecimentos

Agradecemos aqueles que contribuíram com insights e feedback ao longo desta pesquisa. Suas contribuições foram inestimáveis para moldar nossa compreensão de como os modelos de linguagem podem atender melhor a diversas comunidades.

#Limitações do Estudo

Embora este estudo tenha fornecido insights importantes, ele também tem suas limitações. Os dados reunidos foram, em grande parte, coletados de linguagem falada informal ou redes sociais, o que pode não representar totalmente as complexidades de cada dialeto. Além disso, o feedback foi coletado de uma plataforma específica, que pode não incluir uma amostra representativa de todos os falantes das diferentes variedades.

#Chamada à Ação

À medida que as tecnologias de linguagem continuam a evoluir, é fundamental que todos os envolvidos, incluindo pesquisadores, desenvolvedores e usuários, defendam mudanças que promovam justiça e inclusão. Abordar o viés e garantir que todos os dialetos sejam tratados com respeito ajudará a fomentar um cenário mais equitativo na tecnologia de linguagem.