Faire confiance à l'IA : conseils juridiques des LLMs vs avocats

Les grands modèles de langage (LLMs) comme ChatGPT changent la façon dont les gens voient l'aide qu'ils peuvent obtenir, y compris les conseils juridiques. Cet article partage les résultats d'expériences conçues pour voir comment des gens ordinaires choisissent entre les conseils d'un LLM et ceux de vrais avocats. On a mené trois expériences différentes avec un total de 288 participants pour savoir si les gens font plus confiance aux LLMs qu'aux avocats et s'ils arrivent à faire la différence entre les deux sources quand ils ne savent pas d'où vient le conseil.

#Ce qu'on a fait

Dans la première expérience, on a demandé aux participants s'ils étaient prêts à suivre les conseils juridiques d'un LLM ou d'un avocat. On a testé comment leurs réponses changeaient en fonction de s'ils connaissaient la source du conseil. La deuxième expérience visait à répéter le même test pour voir si on obtiendrait des résultats similaires. Enfin, la troisième expérience se concentrait sur si les participants pouvaient dire quel conseil venait d'un LLM et lequel venait d'un avocat quand ils ne savaient pas d'où ça venait.

#Résultats clés

#Volonté d'agir selon le conseil

Dans les deux premières expériences, les participants ont montré qu'ils étaient plus enclins à suivre les conseils donnés par le LLM quand ils ne savaient pas qui avait créé les conseils. Quand ils connaissaient la source, cette préférence changeait. Il n'y avait pas de différence significative dans leur volonté d'agir selon les conseils quand ils savaient que ça venait d'un avocat.

Dans la troisième expérience, les participants étaient meilleurs que la chance pour deviner la source des conseils quand elle n'était pas dévoilée. Ça veut dire que les gens peuvent faire la différence entre les conseils générés par un LLM et ceux d'un avocat, mais pas parfaitement.

#Compréhension des sources de conseil

En analysant les réponses, on a remarqué que les gens semblaient faire plus confiance aux conseils générés par le LLM quand on ne leur disait pas qui les avait créés. Ça soulève des questions intéressantes sur pourquoi les gens pourraient faire confiance à des conseils d'un algorithme plutôt qu'à ceux d'un humain.

Les participants des deux premières expériences ont donné des notes plus élevées aux conseils des LLMs, montrant qu'ils étaient plus enclins à agir selon ces conseils que ceux des avocats quand la source n'était pas connue. Cependant, quand la source était claire, les participants avaient tendance à faire plus confiance à l'avocat, montrant une norme sociale qui est de mieux faire confiance aux professionnels humains qu'aux algorithmes.

#Langage et complexité

La façon dont les conseils sont présentés joue aussi un rôle dans leur perception. En comparant le texte produit par les LLMs et les avocats, on a trouvé que le langage utilisé dans les conseils générés par les LLMs était parfois plus complexe. Cette complexité pourrait amener certains participants à croire à tort que les conseils du LLM étaient de meilleure qualité.

La longueur moyenne des conseils donnés par les avocats était plus longue que celle des LLMs, mais ça ne voulait pas dire que c'était mieux. Les avocats prennent souvent le temps de considérer différents aspects des situations juridiques, tandis que les LLMs peuvent offrir des réponses concises qui semblent confiantes mais qui pourraient manquer de contexte réel.

#Détails de l'expérience

#Expérience 1

Dans la première expérience, on a rassemblé 100 participants qui ont regardé des conseils juridiques basés sur des questions juridiques réelles. On a divisé les participants en groupes où certains savaient la source des conseils (LLM ou avocat) et d'autres ne le savaient pas. On s'est concentré sur les domaines du droit routier, du droit de l'urbanisme et du droit immobilier.

Les participants ont évalué leur volonté d'agir selon le conseil sur une échelle de 1 à 9, où 1 signifiait qu'ils étaient fortement en désaccord pour agir selon le conseil et 9 qu'ils étaient fortement d'accord.

#Expérience 2

La deuxième expérience a inclus 78 nouveaux participants. On a répété le même processus, mais seulement en se concentrant sur les participants qui ne connaissaient pas la source du conseil. On visait à voir si les résultats de la première expérience seraient confirmés.

#Expérience 3

Dans la dernière expérience, on a eu 110 participants qui ont été invités à juger la source des conseils reçus sans savoir s'ils provenaient d'un LLM ou d'un avocat. Chaque participant a reçu le même ensemble de cas juridiques et devait évaluer à quel point il était confiant dans sa supposition, de "définitivement LLM" à "définitivement avocat."

#Analyse des résultats

#Observations générales

Dans les expériences 1 et 2, les résultats ont montré que les participants étaient plus enclins à suivre les conseils générés par le LLM quand ils ne savaient pas d'où ça venait. Les découvertes ont démontré un impact significatif basé sur la connaissance de la source du conseil.

En revanche, les résultats de l'expérience 3 ont montré que les participants pouvaient faire la différence entre les conseils générés par un LLM et ceux générés par un avocat quand ils devinaient la source.

#Confiance dans les LLMs

Ces résultats soulèvent des points importants sur la confiance dans les LLMs. Pourquoi les gens semblent-ils plus enclins à agir sur des conseils donnés par un LLM quand ils ne connaissent pas son origine ? Les normes sociales pourraient amener les gens à faire plus confiance aux conseils humains quand ils savent que la source est un avocat.

#Risques de surconfiance

Trop se fier aux conseils générés par les LLMs pose des risques. Parfois, les LLMs peuvent fournir des informations qui semblent exactes mais qui sont en réalité incorrectes ou trompeuses. Ce problème est particulièrement préoccupant dans des situations juridiques où des erreurs peuvent avoir de graves conséquences.

#L'importance du langage

La Complexité du langage est un autre facteur en jeu. Les différences dans la façon dont les conseils sont structurés peuvent mener à la confusion. Si un LLM fournit des informations qui semblent bien organisées et détaillées, les utilisateurs pourraient supposer que c'est mieux que des conseils d'un avocat qui pourrait être plus prudent ou nuancé.

#Implications pour la société

L'utilisation croissante des LLMs pour donner des conseils, surtout dans des domaines critiques comme l'aide juridique, a de fortes implications. À mesure que les LLMs deviennent plus courants, il sera essentiel d'améliorer la compréhension du public sur le fonctionnement de ces systèmes et d'instiller de la prudence concernant leurs limites.

#Besoin d'éducation

Améliorer l'éducation autour des LLMs pourrait accroître la sensibilisation du public sur leurs capacités et leurs lacunes. Tout comme les gens apprennent à identifier les nouvelles trompeuses, une formation similaire pourrait aider les utilisateurs à discriminer entre le contenu généré par des LLMs et celui généré par des humains en matière de conseils juridiques.

#Dernières réflexions

Alors que la technologie évolue, comprendre l'équilibre entre la confiance dans l'IA et la fiabilité des professionnels humains devient de plus en plus crucial. Nos expériences éclairent comment les profanes perçoivent et évaluent les conseils des LLMs et des avocats, révélant des infos précieuses qui peuvent informer les pratiques et réglementations futures dans le domaine juridique.

En reconnaissant les risques et en s'engageant activement avec la technologie, on peut mieux naviguer dans le paysage entourant le contenu généré par l'IA et s'assurer que les individus prennent des décisions bien informées lors de la recherche de conseils juridiques.