Analisando Viés Político com Modelos de Linguagem

Nos últimos anos, os Modelos de Linguagem Grande (LLMs) ganharam destaque pela sua capacidade de processar e entender a linguagem humana. Eles podem ajudar em várias áreas, incluindo pesquisa em ciência política. Este estudo foca em como os LLMs podem ser usados para analisar preconceitos políticos no contexto da União Europeia (UE), observando as posições políticas de diferentes partidos.

#Contexto

As inclinações políticas podem influenciar como os LLMs atuam em tarefas específicas. Essa pesquisa pretende ir além do típico sistema bipartidário encontrado nos Estados Unidos, examinando como esses modelos respondem ao cenário político mais diverso da UE. Usando o modelo Llama Chat, analisamos seu conhecimento sobre vários Partidos Políticos europeus e sua capacidade de raciocínio dentro do contexto político.

#O Parlamento Europeu e Seus Partidos Políticos

O Parlamento Europeu é composto por mais de 700 representantes eleitos dos estados-membros da UE, conhecidos como Membros do Parlamento Europeu (MEPs). Esses MEPs representam partidos nacionais que formam coalizões maiores chamadas euro-partidos. As discussões no Parlamento Europeu cobrem vários tópicos, incluindo políticas econômicas, imigração e questões ambientais, refletindo uma ampla gama de pontos de vista políticos. Os partidos políticos podem ter posições que são ou favoráveis ou céticas em relação à integração da UE.

#Criando um Conjunto de Dados

Criamos um novo conjunto de dados que inclui cerca de 87.000 discursos dados no Parlamento Europeu de 2009 a 2023. Esse corpus inclui discursos organizados tematicamente e com marcas de tempo. Ele fornece uma rica fonte de informação para entender como diferentes partidos políticos expressam suas opiniões em debates. O conjunto de dados está disponível para quem estiver interessado em estudar a política da UE.

#Questões de Pesquisa

Este estudo busca responder a três perguntas-chave:

1. Conhecimento Político dos LLMs: Os LLMs têm um entendimento dos preconceitos políticos de vários partidos na UE?
2. Capacidade de Raciocínio: Os LLMs conseguem raciocinar sobre tópicos políticos quando apresentados a declarações ou perguntas?
3. Alinhamento com Ideologias Políticas: Podemos ajustar os LLMs para refletir melhor as posições de partidos políticos específicos?

#Metodologia

Para responder a essas perguntas, dividimos nossos experimentos em duas partes: auditoria contextualizada e adaptação política.

#Auditoria Contextualizada

Nesta parte, avaliamos o conhecimento político e as capacidades de raciocínio do Llama Chat. Usamos um questionário político que inclui declarações refletindo várias visões políticas. O questionário foi projetado para ajudar as pessoas a determinarem qual partido político se alinha com suas crenças.

• Configuração A: Demos o nome de um partido nacional e pedimos ao modelo para prever o grau de concordância do partido com uma declaração.
• Configuração B: Oferecemos a justificativa de um partido para uma posição e pedimos ao modelo para prever o nível de concordância.
• Configuração C: Combinamos as duas primeiras configurações, dando justificativas e perguntando a qual partido pertenciam.

Os resultados variaram com base nas configurações, mostrando que o Llama Chat tem um conhecimento substancial sobre as posições políticas dos partidos, mas tem áreas onde enfrenta dificuldades, especialmente com partidos que pertencem à mesma coalizão.

#Adaptação Política

Na segunda parte da nossa pesquisa, adaptamos o Llama Chat. Isso envolveu o ajuste fino do modelo usando discursos específicos de partidos para ajudar a refletir as visões desses partidos de forma mais precisa. Treinamos o modelo usando um método chamado Low-Rank Adaptation (LoRA).

Concentramo-nos em discursos de cinco grandes grupos políticos no Parlamento Europeu:

• O Partido Popular Europeu (PPE) - centro-direita
• A Aliança Progressista dos Socialistas e Democratas (S&D) - social-democrático
• A Esquerda Unida Europeia (GUE/NGL) - esquerda
• Os Verdes–Aliança Livre Europeia (Verdes) - esquerda verde
• Identidade e Democracia (ID) - extrema direita

Depois do ajuste fino, comparamos as respostas do modelo modificado com as do modelo original Llama Chat para ver quão bem ele se alinhava com a ideologia do partido escolhido.

#Resultados

Os resultados destacaram que o Llama Chat conseguia prever opiniões e afiliações políticas com diferentes graus de precisão. O modelo mostrou uma compreensão melhor quando recebeu justificativas dos partidos, o que levou a previsões mais precisas sobre suas posições políticas.

No entanto, o alinhamento não foi perfeito para todos os partidos. Isso foi especialmente verdadeiro para partidos maiores que abrangem uma gama diversificada de ideologias. Enquanto o Llama Chat conseguiu refletir com precisão as visões de partidos com ideologias consistentes, teve dificuldades com aqueles que têm coalizões mais amplas.

#Desafios e Limitações

#Questões Multilíngues

Devido à falta de modelos de chat multilíngues na época do estudo, dependemos dos modelos Llama apenas em inglês. Isso significou traduzir alguns discursos, o que pode ter introduzido imprecisões.

#Problemas de Desalinhamento

Também descobrimos que, às vezes, as opções escolhidas pelo modelo não se alinhavam com as justificativas fornecidas. Essa discrepância exigiu anotações manuais, o que não poderia ser escalado para estudos maiores.

#Períodos de Tempo

Os Conjuntos de dados usados incluíam discursos de vários anos, enquanto o questionário refletia sentimentos políticos de antes da eleição da UE de 2019. Essa lacuna de tempo poderia influenciar quão precisamente o modelo representa as visões políticas atuais.

#Viés de Anotação

As anotações manuais continham viés baseado nas interpretações dos autores, o que pode não representar com precisão as visões políticas mais amplas. Estudos futuros devem empregar uma equipe de anotadores mais diversificada para minimizar esses viéses.

#Cobertura de Dados Limitada

Essa pesquisa focou apenas em um conjunto limitado de partidos. Uma análise mais ampla cobrindo mais partidos poderia oferecer insights mais ricos sobre tendências em várias ideologias políticas.

#Assimetria de Dados

O conjunto de dados consiste em uma cobertura temática desigual. Tópicos como integração da UE e questões econômicas são discutidos com mais frequência do que outros, como questões ambientais e imigração, o que poderia afetar o alinhamento do modelo com essas áreas menos discutidas.

#Considerações Éticas

Este estudo levantou várias questões éticas, particularmente sobre a adaptação de LLMs para refletir opiniões políticas. Modelos treinados com discursos políticos podem, inadvertidamente, reproduzir preconceitos ou desinformação prejudiciais. Enquanto o objetivo é entender melhor as visões políticas, os pesquisadores devem ter cuidado com a forma como esses modelos são utilizados.

Recomendamos que qualquer uso desses modelos em contextos públicos ou comerciais seja cuidadosamente monitorado. Os pesquisadores devem promover transparência, direcionando os usuários para plataformas oficiais de partidos e fontes confiáveis de informação política.

#Conclusão

Esta pesquisa serve como um passo significativo para utilizar LLMs na compreensão das dinâmicas políticas europeias. Ela enfatiza a necessidade de uma adaptação cuidadosa do modelo e destaca os desafios envolvidos em capturar a complexidade das ideologias políticas.

O estudo mostra que o Llama Chat tem potencial como uma ferramenta para análise política, mas precisa ser aprimorado ainda mais. Pesquisas futuras podem expandir essas descobertas, explorar partidos adicionais e abordar os desafios enfrentados neste estudo. A criação de um conjunto de dados público ajudará a facilitar mais análises neste campo. Os pesquisadores são incentivados a construir sobre esses insights, enquanto se mantêm atentos às implicações éticas de seu trabalho.

Ao avançar nossa compreensão dos LLMs no contexto político, esperamos contribuir para conversas políticas mais informadas e melhorar o envolvimento público nos processos democráticos.