Interactions humaines avec l'IA : toxicité et communication

Une conférence intitulée "Conversations Humain-LLM : Modèles mentaux et Origine de la Toxicité" aura lieu du 3 au 5 juin 2024, à Woodstock, NY. L'accent sera mis sur la manière dont les gens interagissent avec les grands modèles linguistiques (LLM), comme ChatGPT, surtout en ce qui concerne le langage toxique ou nuisible.

#La Nature des Interactions Humain-LLM

La plupart des études sur les LLM se concentrent sur la façon dont ils gèrent des tâches spécifiques dans des environnements contrôlés. Cette conférence vise à explorer les conversations réelles, qui sont souvent plus complexes et moins contraintes. L'idée est que, bien que les LLM puissent produire des réponses Toxiques ou nuisibles, celles-ci proviennent souvent des incitations humaines. Cela signifie que les gens jouent un grand rôle dans la façon dont la conversation se déroule et son issue.

#Questions Clés de Recherche

Cette recherche aborde deux questions principales :

1. Quel modèle mental les gens utilisent-ils quand ils parlent aux LLM ? Les voient-ils comme des machines ou comme des humains ?
2. Comment le contenu toxique apparaît-il dans ces conversations ? Est-ce que c'est provoqué par les utilisateurs ou vient-il des LLM eux-mêmes ?

Pour répondre à ces questions, plus de 200 000 conversations ont été analysées. Cet ensemble de données comprenait une grande variété de dialogues, dont beaucoup ont été signalés comme toxiques par des outils de modération.

#Importance de la Recherche

Des millions de personnes utilisent des LLM chaque jour. Leurs interactions peuvent influencer les styles de communication et les manières de penser. Les entreprises qui créent ces outils d'IA ont une influence significative sur la société, comparable à l'impact observé avec les plateformes de médias sociaux. Il y a déjà des exemples de la façon dont les algorithmes peuvent affecter les émotions et les comportements sur des plateformes comme Facebook et TikTok. Des lois sont en train d'être créées pour protéger les utilisateurs des éventuels dangers causés par ces technologies, mais ces lois peuvent aussi limiter la façon dont les entreprises gèrent les demandes des utilisateurs.

#Le Rôle de la Censure

Les LLM comme ChatGPT refusent souvent de répondre à certains prompts pour éviter de générer du contenu nuisible. Cela peut parfois empêcher même des interactions inoffensives ou précieuses. Par exemple, ChatGPT peut bloquer toute discussion sur des thèmes adultes. D'un autre côté, une modération trop prudente peut mener à la production de contenu historique inexact par des systèmes d'IA, ce qui nuit à des expériences d'apprentissage précieuses.

#Modèles Mentaux dans les Conversations

Un modèle mental est une façon dont les gens visualisent et comprennent comment quelque chose fonctionne. En ce qui concerne les interactions humain-LLM, les perceptions des gens peuvent changer au fur et à mesure qu'ils conversent. Au début, les utilisateurs pourraient interagir avec les LLM comme avec une machine, les considérant comme des outils pour des tâches spécifiques. Cependant, au fur et à mesure que la conversation progresse, ils pourraient commencer à traiter l'IA plus comme un partenaire de conversation humain.

Ce changement pourrait avoir des implications significatives, non seulement sur la manière dont les gens communiquent avec les LLM, mais aussi sur les attitudes sociétales plus larges envers l'IA.

#Méthodologie d'Analyse

La recherche a collecté des conversations à partir d'un ensemble de données public impliquant divers sujets. L'analyse s'est concentrée sur quelques aspects clés :

1. Politesse : À quelle fréquence les utilisateurs disent-ils "s'il vous plaît" ou "merci" ? Sont-ils plus formels ou décontractés ?

2. Complexité du langage : À quel point les prompts des utilisateurs sont-ils complexes ou simples, et cela change-t-il au cours de la conversation ?

3. Interaction Personnelle : Les utilisateurs s'adressent-ils directement au LLM en utilisant des pronoms personnels comme "vous" ?

L'étude a impliqué des méthodes quantitatives et qualitatives pour recueillir des informations sur ces interactions.

#Résultats Liés aux Modèles Mentaux

La recherche a révélé que les utilisateurs commençaient avec un état d'esprit de machine lors des premières interactions mais adoptaient un style plus humain au fur et à mesure de la conversation. Cela s'est reflété de plusieurs manières :

1. Politesse : Les utilisateurs étaient moins susceptibles d'utiliser un langage poli lors du premier échange mais ont montré une augmentation significative de l'utilisation de "s'il vous plaît" et "merci" dans les échanges suivants.

2. Complexité du Langage : Les premiers prompts étaient souvent plus longs et plus complexes, mais les utilisateurs avaient tendance à simplifier et à raccourcir leur langage au fur et à mesure que la conversation avançait.

3. Personnalisation : Les utilisateurs ont commencé à s'adresser au LLM de manière plus personnelle, utilisant plus fréquemment des pronoms de deuxième personne comme "vous".

Cela suggère qu'à mesure que les utilisateurs se sentent plus à l'aise avec le LLM, ils ajustent leur style de communication pour s'aligner plus étroitement avec la façon dont ils parleraient à un autre être humain.

#Résultats Liés à la Toxicité

La recherche a souligné que les utilisateurs déclenchaient souvent du contenu toxique pendant les conversations. L'analyse a identifié plusieurs types d'interactions qui ont conduit à la toxicité :

1. Demandé : Les utilisateurs ont explicitement demandé du contenu toxique, entraînant des réponses du LLM conformes à ces demandes.

2. Provocation : Les utilisateurs ont incité l'assistant à la toxicité avec leurs prompts, encourageant des réponses nuisibles.

3. Suggéré : Parfois, les utilisateurs ont indirectement suggéré de la toxicité, conduisant à des commentaires nuisibles inattendus.

4. Réactions Émotionnelles : Lorsque les LLM ne répondaient pas aux attentes des utilisateurs, cela déclenchait parfois des réactions émotionnelles et toxiques de la part des utilisateurs.

5. Volontaire : Dans de rares cas, les LLM ont montré de la toxicité spontanée sans incitation préalable des utilisateurs.

Les résultats ont montré que, bien que les LLM puissent produire du contenu nuisible, la principale source de toxicité provenait des utilisateurs eux-mêmes.

#Implications pour l'Avenir

Comprendre comment les utilisateurs interagissent avec les LLM et les sources de toxicité est crucial pour plusieurs raisons :

• Amélioration de la Modération : Les entreprises peuvent mieux structurer la modération pour équilibrer sécurité et besoin de dialogue ouvert.

• Sensibilisation des Utilisateurs : Les utilisateurs peuvent bénéficier de comprendre leur rôle dans la façon dont les conversations se déroulent et comment leurs prompts peuvent entraîner des résultats nuisibles.

• Développement de Politiques : Les idées peuvent aider à guider les discussions politiques autour de la réglementation et de la conception des LLM et d'autres outils d'IA.

#Conclusion

Alors que les interactions humaines avec les LLM évoluent, notre compréhension de ces échanges doit également évoluer. La recherche met en lumière comment les modèles mentaux des utilisateurs changent pendant les conversations et souligne l'importance du comportement des utilisateurs dans la nature de ces interactions. En identifiant les schémas tant dans les modèles mentaux utilisés que dans l'émergence de la toxicité, nous pouvons travailler vers des stratégies de communication en IA plus efficaces qui favorisent des interactions plus sûres et enrichissantes.