AIを信じること：LLMからの法律相談と弁護士との違い

大規模言語モデル（LLM）みたいなチャットGPTは、人々が受けられる助け、特に法的アドバイスについての考え方を変えてる。このアートは、普段の人たちがLLMのアドバイスと本物の弁護士のアドバイスのどっちを選ぶかを見るためにデザインされた実験の結果を共有するよ。288人の参加者で3つの異なる実験を行って、LLMを弁護士よりも信頼してるか、そして情報源が分からない時にどっちのアドバイスか区別できるか調べた。

#何をしたか

最初の実験では、参加者にLLMか弁護士のどちらの法的アドバイスに従う意欲があるかを尋ねた。アドバイスの情報源を知っているかどうかで回答がどう変わるかをテストした。2つ目の実験では、同じテストを繰り返して似たような結果が得られるか確認した。最後の3つ目の実験では、参加者が情報源を知らない時に、どのアドバイスがLLMから来たのか、どれが弁護士からのかを区別できるかに焦点を当てた。

#主要な結果

#アドバイスに従う意欲

1つ目と2つ目の実験では、参加者は情報源が分からない時にLLMのアドバイスに従う可能性が高いことが分かった。情報源を知っていると、この傾向は変わった。情報源が弁護士だと分かっていても、アドバイスに従う意欲には大きな差はなかった。

3つ目の実験では、参加者が情報源が開示されていない時に、アドバイスの出所を推測するのが運よりも良かった。つまり、人々はLLM生成のアドバイスと弁護士のアドバイスの違いを見分けられるけど、完璧じゃないってこと。

#アドバイスの情報源の理解

回答を分析した時、人々がアドバイスの出所を知らない時にLLM生成のアドバイスをより信頼しているように見えることに気づいた。これって、なぜ人々がアルゴリズムのアドバイスを人間のアドバイスよりも信じるのかという興味深い質問を引き起こす。

1つ目と2つ目の実験の参加者は、LLMのアドバイスに高い評価をつけていて、そのアドバイスに基づいて行動する意欲は、情報源がわからない時の弁護士のアドバイスに対する意欲よりも高かった。しかし、情報源がはっきりすると、参加者は弁護士をより信頼する傾向があり、アルゴリズムよりも人間の専門家を信じるべきだという社会の規範があることを示している。

#言語と複雑さ

アドバイスの提示の仕方も認識に影響を与える。LLMと弁護士が生成したテキストを比べた時、LLMのアドバイスに使われる言語が時にはより複雑であることが分かった。この複雑さが、参加者たちにLLMのアドバイスがより質の高いものだと誤解させるかもしれない。

弁護士が生成したアドバイスの平均的な長さはLLMのものよりも長かったけど、必ずしもそれが優れているわけではなかった。弁護士は法的状況の様々な面を考慮するのに時間をかけるけど、LLMは簡潔な返答を出すことがあって、自信があるように聞こえるけど、実際の文脈には欠けていることがある。

#実験の詳細

#実験 1

最初の実験では、実際の法的な質問に基づいて法的アドバイスを見た100人の参加者を集めた。参加者を、アドバイスの情報源（LLMか弁護士）を知っているグループと知らないグループに分けた。交通法、計画法、財産法の分野に焦点を当てた。

参加者は、アドバイスに従う意欲を1から9のスケールで評価した。1は、「アドバイスに従うのに強く反対」で、9は「アドバイスに従うのに強く賛成」ってこと。

#実験 2

2つ目の実験では、78人の新しい参加者が含まれた。同じプロセスを繰り返して、アドバイスの情報源を知らない参加者に焦点を当てた。最初の実験の結果がどうなるかを観察した。

#実験 3

最後の実験では、110人の参加者にLLMか弁護士からのアドバイスの情報源を推測させた。各参加者は同じ法的ケースのセットを受け取って、推測の自信を「絶対にLLM」から「絶対に弁護士」まで評価する必要があった。

#結果の分析

#一般的な観察

実験1と実験2の両方で、結果は参加者が情報源が分からない時にLLM生成のアドバイスに従う意欲が高いことを示した。アドバイスの情報源に対する知識によって重要な影響があったことが明らかになった。

対照的に、実験3の結果では、参加者が情報源を推測する時にLLM生成のアドバイスと弁護士生成のアドバイスの違いを見分けられた。

#LLMへの信頼

この結果はLLMへの信頼に関する重要なポイントを浮き彫りにする。なぜ人々は、その出所を知らない時にLLMのアドバイスに従おうとするのか？社会の規範が、情報源が弁護士だと分かると人間由来のアドバイスをより信頼するように人々に影響を与えるかもしれない。

#過信のリスク

LLM生成のアドバイスに過度に依存するのはリスクを伴う。時には、LLMが正確に聞こえるけど実際には間違っているか誤解を招く情報を提供することがある。この問題は、間違いが重大な結果をもたらす法的状況で特に懸念される。

#言語の重要性

言語の複雑さもまた、影響する要素だ。アドバイスの構造の違いが混乱を招くかもしれない。もしLLMが整理されていて詳細な情報を提供したら、ユーザーは弁護士のアドバイスよりも良いと仮定するかもしれない。

#社会への影響

特に法的支援のような重要な分野で、LLMがアドバイスを提供することが増えてきて、強い影響がある。LLMがより一般的になるにつれて、これらのシステムがどう機能するかを人々が理解し、その限界に注意を払うことが重要になる。

#教育の必要性

LLMに関する教育を向上させることで、彼らの能力と短所についての公共の認識を高めることができる。人々が誤解を招くニュースを識別することを学ぶのと同様に、似たようなトレーニングがLLM生成の法的アドバイスと人間生成のコンテンツを見分けるのに役立つだろう。

#最後の考え

技術が進化する中で、AIへの信頼と人間の専門家の信頼性のバランスを理解することがますます重要になってきている。私たちの実験は、素人がLLMや弁護士からのアドバイスをどう捉えて評価するかを明らかにし、法的分野における今後の実践や規制に役立つ貴重な洞察を提供している。

リスクを認識し、技術と積極的に関わることで、AI生成のコンテンツに関連する環境をよりよくナビゲートできるようになり、法律的アドバイスを求める際に個々が十分に情報を得た決定を下すことができるようになる。