L'essor des infos synthétiques et les défis de détection

Les modèles de langage à grande échelle (LLMs) deviennent de plus en plus populaires pour créer des articles de fausses nouvelles qui semblent réels. Ces modèles peuvent produire du texte similaire à des nouvelles, même dans des langues qui n'ont pas beaucoup de soutien LLM. Cet article montre une étude de cas utilisant une version d'un LLM appelé Llama, qui a été principalement entraîné en anglais, pour fabriquer de faux articles de nouvelles italiens. En ajustant Llama avec seulement 40 000 articles de nouvelles italiens, on trouve que même les locuteurs natifs italiens ont du mal à faire la différence entre de vraies et de fausses nouvelles.

#Contexte sur les Fermes de contenu

Les fermes de contenu sont des sites web remplis d'articles synthétiques qui ressemblent à des nouvelles mais peuvent ne pas fournir d'informations précises. Ces sites peuvent attirer des lecteurs et générer des revenus publicitaires, même s'ils ne diffusent pas de fausses informations. Un rapport de NewsGuard a révélé que le nombre de tels sites a fortement augmenté, passant de 49 en mai 2023 à 840 en juin 2024.

Ces fermes de contenu peuvent réécrire automatiquement de vrais articles de nouvelles sans crédit aux sources originales. Le but principal de ces sites est de profiter des publicités en ligne, et même de grandes marques peuvent soutenir accidentellement ces faux médias.

#Le défi de la détection

Détecter du texte synthétique n'est pas facile. La plupart des méthodes que les chercheurs utilisent pour trouver des fausses nouvelles reposent sur des techniques statistiques compliquées ou nécessitent de grands ensembles de données de textes réels et faux. Dans notre étude, nous examinons trois LLM différents et trois façons de trouver du texte synthétique : log-vraisemblance, DetectGPT et classification supervisée. Bien que ces Méthodes de détection soient meilleures que les évaluateurs humains, elles nécessitent toutes l'accès à des informations spécifiques ou de grandes quantités de données, ce qui les rend peu pratiques dans des situations réelles.

En plus, on envisage de créer un modèle de ferme de contenu proxy qui imite les vraies fermes de contenu. On constate qu'un petit ensemble de données d'ajustement peut conduire à une détection efficace, mais on doit savoir quel LLM principal a été utilisé pour ajuster le modèle.

#Ajustement de Llama pour les nouvelles italiennes

Dans notre étude de cas, on utilise le modèle Llama, qui est un LLM bien connu et puissant. On se concentre sur les versions à 7 milliards (7B) et 65 milliards (65B) de paramètres de Llama. Comme Llama a été principalement entraîné en anglais, on veut voir à quel point il peut produire des articles de nouvelles italiens après l'avoir ajusté sur un petit ensemble de données italiennes.

On ajuste Llama avec seulement 40 000 articles de nouvelles italiens. Cette petite quantité de données d'entraînement est suffisante pour produire un texte que les locuteurs natifs ont du mal à identifier comme faux. Par exemple, lorsqu'on vérifie la capacité des locuteurs natifs italiens à détecter les faux articles produits par le modèle Llama 65B ajusté, ils ne peuvent les identifier correctement qu'à 64 % du temps, ce qui est mieux que de deviner au hasard à 50 %.

#Évaluation humaine des textes synthétiques

Pour comprendre à quel point les gens peuvent identifier des textes de nouvelles synthétiques, on mène des sondages avec des locuteurs natifs italiens. Les participants lisent des paires de textes et doivent décider si le deuxième texte a été écrit par une machine. Chaque sondage avait un mélange de nouvelles synthétiques et réelles, assurant un terrain d'essai équitable.

Les résultats montrent que les participants ont du mal à identifier précisément les textes générés par machine, surtout après que Llama a été ajusté sur les données de nouvelles italiennes. La version ajustée devient plus difficile à détecter pour les gens, ce qui entraîne un taux de précision plus faible pour identifier les articles synthétiques.

#Détails techniques des méthodes de détection

En ce qui concerne la détection des nouvelles synthétiques, on essaie deux approches principales : la détection basée sur la vraisemblance et les classificateurs supervisés.

#Détection basée sur la vraisemblance

Cette méthode évalue à quel point un texte est susceptible d'être généré par un modèle spécifique en fonction des scores de vraisemblance des tokens. On applique deux techniques, log-vraisemblance et DetectGPT, pour mesurer à quel point elles réussissent à distinguer entre les textes réels et synthétiques.

Bien que les deux méthodes offrent une précision plus élevée que la détection humaine, elles ne sont toujours pas pratiques pour une utilisation dans le monde réel. Elles nécessitent des informations spécifiques sur la vraisemblance des tokens qui ne sont pas toujours disponibles.

#Détection supervisée

La classification supervisée nécessite un ensemble de données équilibré de textes écrits par des humains et synthétiques. On mélange différents ensembles de données pour créer un scénario d'entraînement plus réaliste. On trouve que les classificateurs fonctionnent mieux à mesure que la taille de l'ensemble de données augmente, mais les performances chutent considérablement en dessous d'un seuil d'environ 4 000 échantillons étiquetés.

Pour l'entraînement, on teste différents modèles de classificateurs, y compris RoBERTa et XLM-RoBERTa. Nos expériences confirment que la détection de qualité supérieure repose sur un nombre suffisant d'exemples étiquetés. Les classificateurs fonctionnent bien lorsqu'ils ont suffisamment de bonnes données, mais ils peinent sur des ensembles de données plus petits.

#Modèles proxy pour la détection

Une approche prometteuse est d'utiliser des modèles proxy, qui sont des LLM ajustés sur des ensembles de données similaires mais plus petits. Ces modèles peuvent approximer les scores de vraisemblance d'un modèle principal de ferme de contenu, facilitant la détection des textes synthétiques sans nécessiter d'accès au modèle original.

Dans nos expériences, on observe qu'un ajustement sur seulement 3 % de l'ensemble de données complet donne des performances presque identiques à celles de l'utilisation de l'ensemble de données d'ajustement complet. Cependant, cela fonctionne mieux lorsque le générateur et le détecteur sont du même type de modèle.

#L'importance du watermarking

Le watermarking pourrait être une autre solution potentielle. En intégrant une sorte de marque identifiable dans la sortie des LLM, on pourrait aider les futurs utilisateurs à reconnaître plus facilement le contenu synthétique. Cependant, cela repose sur la coopération des développeurs de modèles, car quiconque crée une ferme de contenu pourrait tenter de supprimer ou de modifier le watermarking pour échapper à la détection.

De plus, de nombreux modèles actuellement disponibles au public manquent d'un système de watermarking robuste, ce qui les rend très sensibles à une mauvaise utilisation.

#Implications plus larges

L'essor des fermes de contenu de nouvelles synthétiques présente un problème urgent pour l'écosystème de l'information à l'échelle mondiale. Elles peuvent tromper les lecteurs et les amener à perdre du temps et des ressources sur de fausses nouvelles. En outre, l'absence de solutions pratiques rend crucial pour la communauté académique et l'industrie technologique de se concentrer sur de meilleures méthodes de détection et d'améliorer l'intégrité de l'information partagée en ligne.

#Directions futures de recherche

Nos conclusions appellent à davantage de recherches sur le développement de méthodes agnostiques aux modèles pour détecter les textes synthétiques. On espère que les travaux futurs élargiront ces idées à d'autres langues et prendront en compte les défis uniques qu'elles présentent.

En particulier, on pense qu'il serait utile de créer une solide base de données publique de contenu synthétique et écrit par des humains pour aider les efforts de recherche. Cela nécessiterait la collaboration entre chercheurs, développeurs technologiques et organismes de régulation pour créer un équilibre entre innovation et intégrité de l'information.

#Conclusion

En résumé, la capacité des modèles de langage à grande échelle à générer des articles de nouvelles synthétiques réalistes pose des défis significatifs pour la détection. Nos conclusions soulignent la facilité de générer ce type de contenu et la difficulté pour les humains de le distinguer des vraies nouvelles. Les méthodes de détection actuelles montrent des promesses mais ne sont pas pratiques pour une utilisation quotidienne.

Les développements futurs doivent se concentrer sur des méthodes de détection plus accessibles et envisager des stratégies de watermarking qui offrent une couche de sécurité pour le contenu des nouvelles. On espère que cette recherche encouragera des explorations supplémentaires pour s'attaquer à ce problème croissant de nouvelles synthétiques à l'ère numérique.