Conjunto de dados para Detecção de Subjetividade em Notícias em Árabe

A detecção de Subjetividade em frases de Notícias é importante pra reconhecer o viés da mídia, melhorar a confiabilidade e prevenir desinformação ao identificar conteúdo baseado em opinião. Essa prática oferece uma visão dos sentimentos públicos e ajuda os leitores a tomar decisões informadas, enquanto promove o pensamento crítico. Embora métodos tenham sido desenvolvidos pra essa tarefa, a maior parte do trabalho se concentrou em inglês e outras línguas amplamente utilizadas.

Nesse estudo, a gente apresenta um grande conjunto de dados pra detecção de subjetividade em árabe, com 3,6 mil frases anotadas manualmente, além de explicações baseadas no GPT-4o. Fornecemos instruções em inglês e árabe pra ajudar no ajuste fino de Modelos de linguagem. Nossa análise discute o conjunto de dados, o método de Anotação e os resultados de benchmark detalhados, incluindo os de diferentes modelos. Nossos achados destacam que os anotadores foram bastante influenciados por suas origens políticas, culturais e religiosas durante o processo de anotação. Os resultados indicam que modelos com aprendizado em contexto mostram melhores resultados. A gente planeja liberar esse conjunto de dados e os recursos pra comunidade em geral.

Detectar subjetividade em frases de notícias serve pra várias finalidades. Ajuda a identificar viés da mídia, diferenciando entre reportagens objetivas e conteúdo subjetivo, assim melhorando a confiabilidade das fontes de notícias. Essa diferenciação é essencial no combate à desinformação, marcando conteúdo baseado em opinião pra verificação. Com o aumento do uso de redes sociais, os usuários costumam usar uma linguagem informal e dialetos mistos. Os leitores normalmente recorrem a veículos de notícias pra entender eventos atuais. Embora as pessoas possam ver notícias de fontes confiáveis como objetivas, estudos revelam que os relatórios de notícias podem ser subjetivos e refletir a posição da organização de mídia. Portanto, analisar a subjetividade contribui pra entender o sentimento público e o impacto social das notícias. Isso empodera os leitores a tomar decisões informadas e estimula o pensamento crítico ao enfatizar elementos subjetivos em artigos de notícias.

Pesquisas anteriores focaram principalmente em desenvolver métodos pra identificar automaticamente conteúdo subjetivo, geralmente se concentrando em inglês ou outras línguas bem-resguardadas. No entanto, há um crescente interesse em línguas complexas como o árabe. A pesquisa nessa área aborda as nuances da língua, focando principalmente no árabe padrão moderno e nos dialetos regionais. A variação entre os dialetos árabes em diferentes regiões cria desafios adicionais para anotadores de diversas origens. Assim, nosso alvo é o conteúdo de notícias em árabe, especialmente dado a escassez de recursos pra construir sistemas de IA nessa língua.

A gente introduz "Thati", que significa "subjetivo" em árabe, um grande e relativamente balanceado conjunto de dados de frases de notícias anotadas manualmente. Durante a anotação, investigamos questões-chave: (i) Quais características emergem em relatórios de notícias em relação à subjetividade? (ii) Como anotadores de origens diversas interpretam relatórios de notícias? (iii) As estratégias de anotação atuais devem ser refinadas pra refletir a complexidade da língua e suas especificidades culturais?

Realizamos experimentos extensivos pra criar benchmarks usando vários Modelos de Linguagem Pré-treinados (PLMs) e Modelos de Linguagem Grande (LLMs) pra estabelecer uma base pra pesquisas futuras. Dado que os atuais LLMs melhoram continuamente o NLP, alcançando alto desempenho em tarefas como tradução automática e análise de sentimentos, utilizamos o GPT-4o pra gerar explicações para as classificações de frases. Além disso, desenvolvemos instruções pra cada ponto de dados, levando a um conjunto de dados completo de seguimento de instruções.

#Resumo das Contribuições

1. Desenvolvemos um conjunto de dados com cerca de 3,6 mil frases de notícias anotadas manualmente, o maior do tipo.
2. Foi fornecida uma análise detalhada do processo de anotação abordando nossas perguntas de pesquisa.
3. Resultados de benchmark usando vários PLMs e LLMs estão incluídos.
4. O conjunto de dados apresenta explicações para os rótulos fornecidos, útil pra desenvolver modelos baseados em explicações.
5. Um conjunto de dados de seguimento de instruções foi criado pra ajudar na construção de modelos que possam seguir instruções.

#Trabalhos Relacionados

Pesquisas em análise de subjetividade geralmente classificam textos como subjetivos ou objetivos antes de categorizar os sentimentos como "positivo", "negativo" ou "misto". Isso serve como um passo inicial pra análise de sentimentos, focando principalmente em fragmentos subjetivos. Estudos anteriores usaram principalmente abordagens baseadas em regras pra textos em inglês. Recentemente, modelos baseados em transformadores foram empregados pra lidar com essa questão.

Pra árabe, esforços anteriores propuseram sistemas pra análise de subjetividade de conteúdo em redes sociais e desenvolveram um corpus incluindo frases de várias fontes online, anotadas como objetivas, subjetivas ou neutras. Esses desenvolvimentos de corpus contribuem significativamente pra estudar subjetividade e análise de sentimentos tanto em árabe padrão moderno quanto em árabe dialetal. Além disso, Conjuntos de dados que visam dialetos específicos, como o Dialeto Najdi da Arábia Saudita, também foram criados.

Desenvolver sistemas de IA requer conjuntos de dados anotados, mas anotações de subjetividade envolvem inherentemente preconceitos moldados pelas perspectivas, origens e contextos sociais dos anotadores. Opiniões políticas podem influenciar como o texto é interpretado e anotado. Isso ressalta lacunas na literatura sobre subjetividade, particularmente no contexto diversificado do árabe.

Anotações manuais apresentam desafios, refletindo a natureza subjetiva da tarefa. Os níveis de concordância entre os anotadores revelam insights sobre a subjetividade do conteúdo e destacam as dificuldades em alcançar anotações consistentes. Altos níveis de concordância indicam conteúdo mais claro, enquanto desacordos revelam áreas de ambiguidade.

Esse estudo visa preencher a lacuna na detecção de subjetividade para árabe, fornecendo um conjunto de dados e resultados de benchmark que beneficiam a pesquisa e o desenvolvimento de modelos.

#Coleta de Dados

Pra preparar o conjunto de dados pra anotação de subjetividade, seguimos duas fases:

1. Seleção de Artigos de Notícias: Selecionamos artigos do conjunto de dados AraFacts, que contém alegações verificadas por sites árabes de verificação de fatos. Coletamos 1.159 artigos e adicionamos 221 artigos opinativos de várias mídias árabes. Esse processo de seleção visava equilibrar a representação de frases objetivas versus subjetivas.

2. Seleção de Frases: Aplicamos duas estratégias: um método baseado em regras pra selecionar frases auto-contidas de comprimento apropriado e uma estratégia baseada em modelo usando modelos de transformador pra avaliar a subjetividade das frases. Construímos uma pool de anotações com 4.524 frases.

#Anotação de Dados

Anotadores humanos foram empregados via Amazon Mechanical Turk pra anotar o conjunto de dados com base em diretrizes derivadas de estudos anteriores. Os anotadores definiram frases subjetivas como aquelas que expressam sentimentos ou interpretações pessoais, enquanto frases objetivas apresentaram dados verificáveis. Realizamos vários estudos piloto pra garantir clareza nas diretrizes.

Pra manter a qualidade da anotação, preparamos frases de amostra pra testes de qualificação e mantivemos uma precisão especificada ao longo do processo de anotação. Coletamos 3.661 frases com um acordo de 66,6%, das quais 1.579 eram subjetivas e 2.082 eram objetivas.

#Análise da Anotação

• Acordo de Anotação: Calculamos o Acordo Inter-Anotador (IAA), encontrando um nível de acordo de cerca de 0,54. Isso indica um nível moderado de acordo na anotação de subjetividade.

• Análise Profunda: Enquanto anotávamos, focamos em fatores que influenciam a compreensão e a qualidade. Preconceitos políticos e culturais desempenharam papéis significativos, afetando como os anotadores julgavam as frases. Desacordos frequentemente surgiam de múltiplas interpretações de frases ou termos.

#Conclusão e Trabalhos Futuros

Esse estudo apresenta um conjunto de dados substancial pra detecção de subjetividade em árabe e fornece insights sobre o processo de anotação. Também demonstra a eficácia de vários modelos na tarefa de classificação.

Pesquisas futuras devem envolver uma gama mais ampla de anotadores pra melhorar as anotações de subjetividade. Este trabalho estabelece as bases pra entender a subjetividade no cenário de notícias árabes, enquanto levanta considerações importantes pra área de NLP.

#Limitações

A complexidade da anotação de subjetividade apresenta desafios, mesmo com diretrizes claras. Alguns anotadores tiveram dificuldade em passar nos testes de qualificação, muitas vezes devido a origens diversas que afetavam suas interpretações.

#Ética e Impacto Mais Amplo

Artigos de notícias foram coletados de várias fontes e, embora tenhamos tentado minimizar o viés nas anotações, pedimos aos usuários que estejam cientes das limitações do conjunto de dados. Esse trabalho pode beneficiar verificadores de fatos, jornalistas e formuladores de políticas, enquanto também estimula mais pesquisas sobre detecção de subjetividade em árabe.

#Diretrizes de Anotação

Pra facilitar o processo de anotação, refinamos diretrizes anteriores, fornecendo casos de uso e exemplos tanto pra frases subjetivas quanto objetivas. Os anotadores selecionaram "Sim", "Não" ou "Não Tenho Certeza" pra cada tarefa, indicando a classificação da frase.

#Desafios na Anotação

Anotar subjetividade é complexo devido às diversas origens dos anotadores, que influenciaram suas interpretações. Descrepâncias na rotulação destacaram os desafios em alcançar resultados consistentes. Apesar desses obstáculos, o estudo gerou insights valiosos sobre a detecção de subjetividade, informando práticas futuras e direções de pesquisa.