Diferenças Culturais nas Normas Morais: Desafios dos Modelos de Linguagem
Examinando como os modelos de linguagem percebem normas morais em diferentes culturas.
― 6 min ler
Índice
- Variação Moral Entre Culturas
- Resultados da Análise
- A Importância de Entender Normas Culturais
- Trabalhos Anteriores em Processamento de Linguagem Natural
- Investigando o Conhecimento Moral em Modelos de Linguagem em Inglês
- Abordagens para Nossa Análise
- Fontes de Dados
- Resultados de Nossas Descobertas
- Agrupando Países por Normas Morais
- Tendências Compartilhadas em Julgamentos Morais
- Efeitos do Ajuste dos Modelos
- Conclusão
- Fonte original
- Ligações de referência
Normas morais, ou as regras sobre o que é considerado certo e errado, podem variar bastante entre as culturas. Pesquisas recentes mostram que grandes modelos de linguagem, que são programas que conseguem entender e gerar a linguagem humana, podem ter preconceitos semelhantes aos que encontramos nos humanos. No entanto, a maioria dos estudos analisou normas morais numa única cultura, principalmente nas que falam inglês. Este artigo investiga quão bem esses modelos de linguagem entendem normas morais de diferentes culturas e o que isso significa para seu desenvolvimento.
Variação Moral Entre Culturas
As visões morais não são as mesmas em todo lugar. Por exemplo, as opiniões das pessoas sobre assuntos como "homossexualidade" ou "divórcio" podem variar muito de um país para outro. Nossa pesquisa se concentra em duas perguntas principais:
- Os modelos de linguagem em inglês refletem as diferenças nas visões morais entre várias culturas sobre uma variedade de tópicos?
- Esses modelos conseguem identificar tanto os lugares onde as culturas concordam quanto onde elas divergem em seus julgamentos morais?
Para explorar essas questões, analisamos dois conjuntos de dados: um do World Values Survey, que inclui respostas de 55 países, e outro da pesquisa PEW, que abrange 40 países.
Resultados da Análise
Quando comparamos as previsões feitas pelos modelos de linguagem com dados reais das pesquisas, descobrimos que os modelos geralmente não se saíram bem em estimar normas morais entre diferentes culturas. O desempenho deles foi pior do que o esperado, mostrando que podem não ter uma compreensão completa das diferenças culturais. No entanto, quando ajustamos esses modelos usando dados das pesquisas, a capacidade deles de adivinhar visões morais entre culturas melhorou, embora tenham se tornado menos precisos em relação às normas morais em inglês.
A Importância de Entender Normas Culturais
À medida que os modelos de linguagem se tornam mais úteis em nosso mundo cada vez mais diversificado, entender diferentes normas morais é crucial. Se um modelo treinado principalmente com dados em inglês fizer suposições sobre questões morais em culturas que falam outras línguas, ele pode gerar representações enganosas ou prejudiciais. Por exemplo, um modelo pode considerar algo como "violência política" justificável em certos contextos não ingleses, reforçando estereótipos sobre essas culturas.
Trabalhos Anteriores em Processamento de Linguagem Natural
Pesquisas anteriores mostraram que os modelos de linguagem capturam alguns preconceitos morais. Por exemplo, modelos treinados com dados em inglês conseguem distinguir entre ações certas e erradas sem nenhuma entrada extra. Alguns estudos também analisaram modelos multilíngues, que conseguem entender várias línguas, pela sua capacidade de identificar normas morais em diferentes culturas. No entanto, a maioria desse trabalho se concentrou em casos específicos de preconceito ao invés de analisar normas morais de forma abrangente entre várias culturas.
Investigando o Conhecimento Moral em Modelos de Linguagem em Inglês
Em nosso estudo, investigamos quão bem modelos de linguagem pré-treinados em inglês, que são em grande parte derivados de dados produzidos em culturas ocidentais, capturavam informações sobre normas morais em outras culturas. Isso é particularmente importante porque o inglês é amplamente utilizado como uma língua comum para a comunicação global. Entender se esses modelos têm conhecimento básico sobre diferenças culturais pode ajudar a melhorar seu desempenho em ambientes multilíngues.
Abordagens para Nossa Análise
Usamos duas abordagens principais para analisar os modelos de linguagem:
Nível 1: Normas Morais Específicas
Neste primeiro nível de análise, examinamos se os modelos conseguiam refletir com precisão normas morais sobre tópicos específicos em diferentes países. Por exemplo, ao observar o tópico "dar um divórcio", avaliamos se os modelos estavam alinhados com a forma como as pessoas em vários países classificavam essa questão.
Nível 2: Diversidade Cultural e Tendências Compartilhadas
No segundo nível, procuramos padrões no julgamento moral. As pessoas ao redor do mundo geralmente concordam em certas questões morais ou há diferenças significativas? Por exemplo, enquanto pode haver um amplo consenso sobre a imoralidade da violência, as opiniões sobre práticas sexuais podem variar bastante.
Fontes de Dados
Usamos conjuntos de dados disponíveis publicamente, nomeadamente o World Values Survey e a pesquisa PEW Global Attitudes, para coletar informações sobre normas morais de participantes de vários países. Os dados cobriam uma gama de tópicos moralmente relevantes e foram coletados por meio de pesquisas traduzidas para idiomas nativos.
Resultados de Nossas Descobertas
Desempenho em Normas Morais Homogêneas
Descobrimos que os modelos de linguagem tinham uma boa correlação com as normas morais existentes em inglês, mas tiveram dificuldades com as normas morais derivadas dos conjuntos de dados globais. Isso destacou uma lacuna em sua compreensão quando se tratava de contextos culturais variados.
Desempenho Cultural Detalhado
Quando avaliamos a capacidade dos modelos de inferir as normas morais de culturas específicas, descobrimos que eles se saíram melhor para países ocidentais. No entanto, suas previsões eram menos precisas para nações não ocidentais. Isso sugere um Viés em relação a visões morais que se alinham com perspectivas ocidentais.
Agrupando Países por Normas Morais
Para investigar melhor como os modelos capturam normas morais, dividimos os países em diferentes grupos com base no status econômico ou localização geográfica. Os resultados mostraram que os modelos tinham uma melhor compreensão das normas morais em países ocidentais mais ricos em comparação com aqueles de outras partes do mundo.
Tendências Compartilhadas em Julgamentos Morais
Em seguida, examinamos se os modelos de linguagem conseguiam detectar visões morais compartilhadas entre culturas. Por exemplo, observamos tópicos onde as pessoas pareciam ter um ponto em comum, como a imoralidade da violência. No entanto, os modelos muitas vezes calcularam mal o grau de controvérsia em torno de diferentes questões morais.
Efeitos do Ajuste dos Modelos
Para melhorar a compreensão cultural dos modelos, os ajustamos usando os achados das pesquisas globais. Esse processo aumentou sua precisão em relação ao conhecimento moral cultural, mas teve um custo. A capacidade deles de inferir normas morais baseadas em inglês diminuiu, e novos preconceitos foram introduzidos.
Conclusão
Em conclusão, embora modelos de linguagem pré-treinados em inglês consigam capturar alguma variação nas normas morais entre culturas, eles costumam ser mais precisos para culturas ocidentais do que para as não ocidentais. Ajustar modelos com dados morais globais pode melhorar sua compreensão cultural, mas também pode introduzir preconceitos que precisam ser considerados com cuidado.
É crucial que pesquisas futuras se aprofundem ainda mais nessas normas morais, buscando uma visão mais sutil que acomode a rica variedade de perspectivas culturais. As implicações éticas de usar esses modelos também devem ser reconhecidas, já que eles não devem ser vistos como autoridades finais em questões morais.
Título: Knowledge of cultural moral norms in large language models
Resumo: Moral norms vary across cultures. A recent line of work suggests that English large language models contain human-like moral biases, but these studies typically do not examine moral variation in a diverse cultural setting. We investigate the extent to which monolingual English language models contain knowledge about moral norms in different countries. We consider two levels of analysis: 1) whether language models capture fine-grained moral variation across countries over a variety of topics such as ``homosexuality'' and ``divorce''; 2) whether language models capture cultural diversity and shared tendencies in which topics people around the globe tend to diverge or agree on in their moral judgment. We perform our analyses with two public datasets from the World Values Survey (across 55 countries) and PEW global surveys (across 40 countries) on morality. We find that pre-trained English language models predict empirical moral norms across countries worse than the English moral norms reported previously. However, fine-tuning language models on the survey data improves inference across countries at the expense of a less accurate estimate of the English moral norms. We discuss the relevance and challenges of incorporating cultural knowledge into the automated inference of moral norms.
Autores: Aida Ramezani, Yang Xu
Última atualização: 2023-06-02 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2306.01857
Fonte PDF: https://arxiv.org/pdf/2306.01857
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://www.latex-project.org/help/documentation/encguide.pdf
- https://www.aclweb.org/portal/content/acl-code-ethics
- https://www.worldvaluessurvey.org/WVSContents.jsp?CMSID=Documentation
- https://www.pewresearch.org/about/terms-and-conditions/
- https://worldpopulationreview.com/country-rankings/western-countries
- https://www.worldvaluessurvey.org/WVSContents.jsp
- https://www.pewresearch.org/global/interactives/global-morality/
- https://github.com/AidaRamezani/cultural