A Ascensão das Notícias Sintéticas e os Desafios de Detecção

Modelos de linguagem grandes (LLMs) estão ficando cada vez mais populares para criar artigos de notícias falsas que parecem reais. Esses modelos conseguem produzir textos que se assemelham a notícias, mesmo em idiomas que não têm um suporte forte de LLM. Este artigo mostra um estudo de caso usando uma versão de um LLM chamado Llama, que foi treinado principalmente em inglês, para fazer artigos de notícias falsas italianas. Quando ajustamos o Llama com apenas 40.000 artigos de notícias italianas, descobrimos que até falantes nativos de italiano têm dificuldade em distinguir entre notícias reais e falsas.

#Contexto sobre Fazendas de Conteúdo

Fazendas de conteúdo são sites cheios de artigos sintéticos que parecem notícias, mas podem não fornecer informações precisas. Esses sites podem atrair leitores e gerar receita com anúncios, mesmo que não espalhem desinformação. Um relatório da NewsGuard revelou que o número de tais websites aumentou drasticamente, de 49 em maio de 2023 para 840 em junho de 2024.

Essas fazendas de conteúdo podem reescrever automaticamente artigos de notícias reais sem dar crédito às fontes originais. O objetivo principal desses sites é lucrar com anúncios online, e até grandes marcas podem apoiar acidentalmente esses canais falsos.

#O Desafio da Detecção

Detectar texto sintético não é fácil. A maioria dos métodos que os pesquisadores usam para encontrar notícias falsas depende de técnicas estatísticas complicadas ou precisa de grandes conjuntos de dados de textos reais e falsos. No nosso estudo, analisamos três LLMs diferentes e três maneiras de encontrar texto sintético: log-verossimilhança, DetectGPT e classificação supervisionada. Embora esses Métodos de Detecção tenham um desempenho melhor do que avaliadores humanos, todos eles exigem acesso a informações específicas ou grandes quantidades de dados, tornando-os impráticos em situações reais.

Além disso, consideramos criar um modelo proxy de fazenda de conteúdo que imite as verdadeiras fazendas de conteúdo. Descobrimos que até um pequeno conjunto de dados de Ajuste fino pode levar a uma detecção eficaz, mas precisamos saber qual LLM principal foi usado para ajustar o modelo.

#Ajustando o Llama para Notícias Italianas

No nosso estudo de caso, usamos o modelo Llama, que é um LLM conhecido e poderoso. Focamos nas versões de 7 bilhões (7B) e 65 bilhões (65B) de parâmetros do Llama. Como o Llama foi treinado principalmente em inglês, queremos ver quão bem ele pode produzir artigos de notícias italianas depois de ajustá-lo em um pequeno conjunto de dados italiano.

Ajustamos o Llama com apenas 40.000 artigos de notícias italianas. Essa quantidade pequena de dados de treinamento é suficiente para produzir um texto que os falantes nativos acham difícil de identificar como falso. Por exemplo, quando verificamos a capacidade de falantes nativos de italiano de detectar os artigos falsos produzidos pelo modelo Llama 65B ajustado, eles conseguem identificá-los corretamente apenas 64% das vezes, o que é melhor do que o palpite aleatório de 50%.

#Avaliação Humana de Textos Sintéticos

Para entender como as pessoas conseguem identificar textos de notícias sintéticas, realizamos pesquisas com falantes nativos de italiano. Os participantes leram pares de textos e tiveram que decidir se o segundo texto foi escrito por uma máquina. Cada pesquisa tinha uma mistura de notícias sintéticas e reais, garantindo um campo de teste justo.

Os resultados mostram que os participantes tiveram dificuldade em identificar com precisão os textos gerados por máquinas, especialmente depois que o Llama foi ajustado nos dados de notícias italianas. A versão ajustada se torna mais difícil de detectar, resultando em uma taxa de precisão mais baixa na identificação de artigos sintéticos.

#Detalhes Técnicos dos Métodos de Detecção

Quando se trata de detectar notícias sintéticas, tentamos duas abordagens principais: detecção baseada em verossimilhança e classificadores supervisionados.

#Detecção Baseada em Verossimilhança

Esse método avalia quão provável é que um texto seja gerado por um modelo específico com base em pontuações de verossimilhança de tokens. Aplicamos duas técnicas, log-verossimilhança e DetectGPT, para medir quão bem elas performam em distinguir entre textos reais e sintéticos.

Embora ambos os métodos ofereçam uma precisão maior do que a detecção humana, ainda não são práticos para uso no mundo real. Eles exigem informações específicas de verossimilhança de tokens que nem sempre estão disponíveis.

#Detecção Supervisionada

Classificação supervisionada requer um conjunto de dados equilibrado de textos escritos por humanos e sintéticos. Misturamos diferentes conjuntos de dados para criar um cenário de treinamento mais realista. Descobrimos que os classificadores performam melhor à medida que o tamanho do conjunto de dados aumenta, mas o desempenho cai significativamente abaixo de um limite de cerca de 4.000 amostras rotuladas.

Para treinamento, testamos diferentes modelos de classificador, incluindo RoBERTa e XLM-RoBERTa. Nossos experimentos confirmam que a detecção de maior qualidade depende de ter exemplos rotulados suficientes. Os classificadores funcionam bem quando têm dados bons suficientes, mas têm dificuldade em conjuntos de dados menores.

#Modelos Proxy para Detecção

Uma abordagem promissora é usar modelos proxy, que são LLMs ajustados em conjuntos de dados semelhantes, mas menores. Esses modelos podem aproximar as pontuações de verossimilhança de um modelo principal de fazenda de conteúdo, facilitando a detecção de textos sintéticos sem precisar de acesso ao modelo original.

Nos nossos experimentos, vemos que até ajustar apenas 3% do conjunto de dados completo produz quase o mesmo desempenho que usar o conjunto de dados completo de ajuste. No entanto, isso funciona melhor quando tanto o gerador quanto o detector são do mesmo tipo de modelo.

#A Importância da Marcação d'água

Marcação d'água pode ser outra solução potencial. Ao embutir algum tipo de marca identificável na saída dos LLMs, poderíamos ajudar futuros usuários a reconhecer conteúdo sintético mais facilmente. No entanto, isso depende da cooperação dos desenvolvedores de modelos, já que qualquer um que criar uma fazenda de conteúdo pode tentar remover ou alterar a marcação d'água para evitar a detecção.

Além disso, muitos modelos disponíveis ao público atualmente não têm um sistema robusto de marcação d'água, o que os torna altamente suscetíveis ao uso indevido.

#Implicações Mais Amplas

A ascensão das fazendas de conteúdo de notícias sintéticas apresenta uma questão urgente para o ecossistema de informações globalmente. Elas podem levar os leitores a desperdiçar tempo e recursos em notícias falsas. Além disso, a falta de soluções práticas torna crucial que a comunidade acadêmica e a indústria de tecnologia se concentrem em melhores métodos de detecção e melhorem a integridade das informações compartilhadas online.

#Direções Futuras de Pesquisa

Nossas descobertas pedem mais pesquisas para desenvolver métodos agnósticos a modelos para detectar textos sintéticos. Esperamos que trabalhos futuros expandam essas ideias para outros idiomas e considerem os desafios únicos que eles apresentam.

Em particular, acreditamos que construir um banco de dados público forte de conteúdo sintético e escrito por humanos poderia ajudar os esforços de pesquisa. Isso exigiria colaboração entre pesquisadores, desenvolvedores tecnológicos e órgãos reguladores para criar um equilíbrio entre inovação e integridade da informação.

#Conclusão

Em resumo, a capacidade dos grandes modelos de linguagem de gerar artigos de notícias sintéticas realistas apresenta desafios significativos para a detecção. Nossas descobertas destacam a facilidade de gerar esse conteúdo e a dificuldade que os humanos têm em distingui-lo de notícias reais. Os métodos de detecção atuais mostram potencial, mas são impráticos para uso diário.

Desenvolvimentos futuros precisam se concentrar em métodos de detecção mais acessíveis e considerar estratégias de marcação d'água que ofereçam uma camada de segurança para o conteúdo de notícias. Esperamos que esta pesquisa incentive uma exploração adicional sobre como enfrentar o crescente problema das notícias sintéticas na era digital.