研究者たちが質的研究におけるLLMの利点と欠点を考えてるよ。

このセクションでは、研究者が言語モデル（LLM）とどのようにかかわったかを見ていくよ。彼らは、LLMを人間の参加者の代わりに使うことについての考えや感じたこと、観察したことを探求したんだ。研究の中でLLMを使ったときのいくつかの弱点に気づいたみたい。データの収集にLLMだけに頼らない方がいいと勧めつつ、LLMが役立つ状況もあることを認めてたけど、警告もたくさんあった。

#研究者のLLMに対する態度

研究者たちはLLMを使い始める前に、これらの技術についての気持ちを共有したよ。ほとんどの研究者が疑念と好奇心の混ざった感情を持っていた。一部の参加者は、LLMがライティングやブレインストーミングのようなタスクを助けてくれたと指摘してた。たとえば、彼らは重要なディスカッションのポイントを明確にするのにLLMが役立つと感じていた。いくつかの研究者は新しいLLMの使い方を見つけることに前向きだったけど、主にLLMがどのように機能するかを研究するための道具として見ていたみたい。

研究者たちは質的研究が目指すものについて話し合ったよ。彼らはよく距離感のメタファーを使って自分のポイントを説明してた。一人の研究者、アリスは実際の情報源から遠いものを使うことで人間の行動に関する貴重な洞察が得られるのか疑問を呈していた。彼女は全然役に立たないかもしれないとも言ってた。ジェナは質的研究の強みはユニークな個人の経験を捉える能力にあると付け加えた。

研究者たちは自分たちの作業環境についても振り返った。業界で働いているハーパーは、質的データを使ってストーリーテリングに焦点を当てていた。彼女は、自分のデータがチームを正しい選択に導くために説得力がある必要があると強調してた。ハーパーは、LLMが簡単な答えをすぐに生成することができる一方で、深い前提や微妙な詳細を見つけ出すことができるかどうかは疑問だと認めてた。全体的に、研究者たちはLLMを使うことに懐疑的だったけど、この技術を探求することで何が学べるかに興味を持っていた。

#インタラクションデータの概要

研究者がインタビューのプローブに関わった際、LLMの応答はしばしば人間の参加者から聞いたことを反映していると気づいたみたい。LLMの出力のアイデアは、人間のインタビュー対象者が共有したものと頻繁に一致してた。多くの人がモデルの応答を信じられるものだと感じていたよ。たとえば、アンリは高齢者向けのコミュニティに関するLLMの出力が彼の研究で高齢者が表現したことと一致しているのを観察した。彼の findings と一致する類似の応答を見て、ナディアは自分の募集方法があまりオンラインで活発でない人々の視点を捉えられない可能性があることを考えた。事実に大きな誤りはなかったけれど、欠けているコンテキストがデータの解釈を複雑にするかもしれないと感じていた。

いくつかの研究者はLLMの応答の詳細についてコメントし、多くは提示した具体的な指示に起因すると考えていた。アミールは「詳細のレベルに感銘を受けた」と述べ、一方でライラは出力が「実際に意味を成していた」と言ってた。ただ、すべての人が満足していたわけではない。マリオとリダは過剰な詳細に不満を持っていた。マリオは、詳細と深さには大きな違いがあることを指摘した。彼は、LLMが多くの情報を提供できる一方で、実際の深い意味には到達できないと説明してた。研究者たちはしばしば、LLMからより焦点を絞った応答を得るために質問のアプローチを変更する必要があり、インタラクションの最初でラポールを築く必要はなかった。

キャメロンも最初はLLMの応答に感心していて、この方法が彼女のインタビューに有益かもしれないと考えた。彼女はLLMの反応を見るために、それぞれ異なるペルソナの説明を二つ作成した。一つ目のペルソナは背景について詳しかった。「あなたは南東テキサス出身の18歳のラティーナで、アイビーリーグの学校に入学したばかりだと想像してみて。」二つ目の説明はもう少し一般的なもので、「あなたは大学の応募者だと想像してみて。」

二つのペルソナ間の応答の違いを観察したキャメロンは、より一般的なペルソナが十分な資源と準備を持っているというナラティブを提示していることに気づいた。一方で、詳細なペルソナはラティーナの学生の背景に関連する課題を浮き彫りにするナラティブを描いていた。キャメロンは、LLMがアイビーリーグの学生に関するステレオタイプを強化しているように見え、特定のコミュニティから得られる強みを欠いていると感じた。これにより、LLMの出力の包括性が研究者を誤解させて、人間の参加者を全く必要としないと考える危険性を懸念した。しかし、ペルソナとの作業を通して、彼女はLLMが本物の経験ではなくコミュニティに関する仮定を反映する傾向があることを認識した。

参加者のために異なる説明を試みながら、研究者たちはあまりにも詳細すぎることや詳細が不足していることの難しさを強調した。プロンプトにあまり情報を加えないことで、仮定に基づいた答えが出てくる一方で、ノーランは詳細を提供した結果、モデルの応答が彼がペルソナに含めたことを単に繰り返しているだけだと指摘し、それを面白いものの役に立たないと感じた。インタラクションデータの分析では、LLMがペルソナに関連する特定の特徴を割り当てる例が示された。たとえば、エスメに対する一つのモデル応答は、ノンバイナリーで黒人であることがメディアでの代表性の必要性に影響を与えると述べていた。他の応答、ニコのものは、リモート学習の複雑な経験が45歳の大学2年生であることに由来することを伝えていた。インタビュー対象者たちは、LLMのアイデンティティを単純化する傾向が実際の経験の微妙な特性を過度に単純化する可能性があると指摘した。

#LLMを研究参加者として使用する際の制限

次に、LLMを使用して人間の経験を理解する上での主な制限について話すよ。一部の懸念はスタイルや意味に関するもので、他のものは潜在的な参加者の同意や自主性の問題に焦点を当てている。これらの問題のいくつかは、より良いプロンプト設計やデータの幅を広げることで対処できるけれど、インタビュー対象者たちは、こうした調整が研究プロセスの信頼性を損なう可能性があると警告してた。

#応答の詳細が限られている

実際の経験を伝える際の質的データの明確さは重要で、具体的な人物、設定、出来事、動機を含めることで本物の経験を伝える必要がある。多くの研究者はLLMの応答にフラストレーションを感じていて、あまりにも抽象的で現実から離れていると見なしていた。彼らは、人間の参加者から詳細な物語を集めるのにはスキルと努力が必要で、それをモデルが再現することには失敗することが多いと指摘してた。一部の研究者は物語を引き出すプロンプトを作成できていたけれど、その応答が有効かどうかを疑問視してた。ソフィアは、ギグワークにおける技術の役割を研究していて、LLMのあいまいな「安全でない近隣」の言及が、性別や人種に関連する議論を分析するために必要な具体的なコンテキストを欠いていると指摘してた。

研究者たちはLLMの応答が本物のインタビューに見られる spontaneity やエネルギーを欠いていることにも気づいた。彼らの研究では、人間の参加者が時折脱線し、深みを加える興味深いストーリーを共有することがあった。ダリアは、LLMの応答が非常に焦点を合わせたものであったのに対し、彼女の参加者は忙しい夜に車が故障したような個人的な逸話を共有してデータを豊かにしていたと述べた。リダも、自分の参加者が日常生活についてあまり詳細を提供しないことが多いものの、インタビューでは徐々に自分のルーチンについてもっと明らかにしていくことがあったと付け加えた。しかし、LLMは微妙な理解を捉えていない公式で冷淡な方法で経験を伝える傾向があった。エスメは、インタビューが機械では再現できない親密な交換であることを強調し、参加者がLLMからは出てこないような個人的な経験を共有したことからもそのことを指摘した。

センシティブなトピックを扱う研究者にとって、LLMの応答における感情の深さの欠如はさらに顕著だった。ナディアの移民経験に関する研究では、トラウマや困難についての議論があり、感情的な重みがあった。対照的に、LLMの応答は平坦で、人間の相互作用から生まれる本物の感情が欠けていると説明された。研究者たちは、LLMの出力が人間の感情の全範囲を表現できないときにフラストレーションを感じた。これは、複雑な参加者のストーリーを語るために重要だよ。一部のモデルは丁寧で同意的な応答を生成することを目指しており、質的研究において重要な詳細なストーリーテリングを失うことにつながる。

#研究者のバイアスの増幅

LLMを通じて研究参加者をシミュレーションする際、研究者は重要なコントロールを持っていて、知識を生み出す役割が複雑になることがある。ペルソナを作成するには、潜在的な参加者がどのような存在であるかについての仮定を作らなければならない。研究者はどの特性を含めるかを決定し、それがモデルの応答に直接影響を与える。伝統的なインタビューも選択バイアスに直面するけれど、LLMを使用することでこれらの選択がより明確かつ重要になる。参加者たちはこれが無意識のうちに自身のバイアスを強化する可能性があると懸念を表明した。研究者は、自分のデータの期待に合わせてプロンプトを調整するかもしれないからだ。この確認バイアスの危険性は、LLMに複数回質問して、毎回微妙に異なる応答を受け取ることができるところから生じる。

研究者たちは質的研究が意味を形成するための継続的なプロセスであることを強調した。データはただ収集を待っているわけではなく、研究者がコミュニティと関わり、学ぶことを解釈する方法によって形作られるからだ。宗教団体と協力していたハーパーは、研究者の存在がコミュニティのダイナミクスに影響を与えることがあると認識していた。彼女は自分の信念や態度が研究アプローチに影響を与えていることを反省していた。ユエも、自分たちのプレゼンテーションが参加者がインタビューで提供する情報に大きく影響を与える可能性があると述べた。彼らが聴覚に問題ない人だと認識されるか、聴覚障害者コミュニティに精通している人物だと見なされるかで応答の深みが変わることがある。

研究者たちはまた、コミュニティを研究する際の内側（エミック）と外側（エティック）の視点の違いについても指摘した。ナディアは、研究者がトピックに対する個人的な経験を欠いている場合、データにあるステレオタイプに気づかないかもしれないと指摘した。エスメはこの問題を「パラシュートサイエンス」と表現し、制限されたコミュニティの理解に基づいてシミュレートされた経験があるとした。ニキータも、自分たちが生活経験を持つコミュニティだけを研究すると述べ、研究されるコミュニティにいることの重要性を強調した。

一方で、コミュニティの一部である研究者は、データが実際の経験を表しているかを評価するための貴重な洞察をもたらすことができる。しかし、LLMを使用して参加者をシミュレートすることは、コミュニティを反映しつつも不正確な遭遇を引き起こすかもしれない。ニキータはこの状況を「アンクニー・バレー」に例え、機械の応答が人間のように見えるが不安を引き起こすほど不正確であると述べた。ライラは、自分の経験を反映しようとするシステムの応答を読むことに不安を覚え、「不気味で誠実さがない」と表現した。これは、これらのシミュレーションが研究者に感情的な不快感や悪影響を与える可能性があるという懸念を引き起こした。

#LLMの曖昧な性質

研究者の参加者は、LLMの応答に反映される知識の性質、特にそれが単一の視点を反映しているのかどうかを判断するのに苦労した。彼らはLLMの応答がしばしばさまざまな参加者の視点を一つにまとめたものであると感じていた。ダリアはこれを「人々が共有したストーリーのシミュラクラム」と説明した。エリオットは管理の環境で労働者の経験を研究していて、モデルは労働者と経営者の両方の思考を融合し、時には経営者の視点は労働者が実際に経験していない利益として提示されることがあると指摘してた。広い文脈を理解するためには-たとえば、賃金や対立、構造など-エリオットは、部分的かつ状況に応じた知識を正確に表現する必要があると考えていた。

LLMの出力はプロンプトでの言葉遣いに敏感であることが示されている。ダリアは、自分が「透明性の問題」から「アプリ情報に関する経験」に質問を変更した際、モデルのトーンが変わったことに気づいた。参加者たちは、言葉の小さな変化が応答をネガティブからポジティブに傾ける可能性があると強調した。この不一致は質的データの信頼性を損なう恐れがある。

研究者たちは、LLMを訓練するデータに関する透明性の欠如についても懸念を表明した。特定のグループを理解することが目的である場合、LLMの生成した応答の妥当性は、そのグループの声が訓練データに反映されているかどうかわからなければ疑わしい。ソフィアは、モデルが労働者フォーラムから学んでいるのか、企業主導のデータから学んでいるのかによって応答が大きく異なることを示した。ニキータは、コンテキストは時間に結びついていると述べ、モデルが現在の見解や過去の平均を反映しているかどうかを疑問視した。データソースが不透明な場合、研究者たちはLLM出力の真実性を評価することが難しいと感じていた。

#コミュニティの声の排除のリスク

質的研究においてLLMを使用することは、過小評価されている声を沈黙させるリスクがある。ブラックのソーシャルメディアクリエイターを研究していたライラは、LLMが特定のトピックを議論する際にしばしばステレオタイプに頼ることを指摘していた。彼女は、LLMがコミュニティに関する一般的な感情を捉えるかもしれないが、そのメンバーからの本物の表現を見逃しがちだと懸念を示していた。エスメは、LLMの出力が特定の文脈でブラッククリエイターに共鳴しないブラックの歴史に関する一般的なテーマを含んでいたことに気づいた。

研究者たちは、現在のLLMを作成するためのトレーニングデータやプロセスがこれらの欠点に起因していると考えていた。彼らは、機械が丁寧な応答を生み出すことができる一方で、人間の経験の複雑で混沌とした現実を見逃すことがあると感じていた。アミールは、自分の参加者が強い意見を共有しがちだが、それが論争的である可能性があることを指摘して、LLMがそれを再現できなかったと述べた。職業療法士を研究していたアンリは、LLMが「ベストプラクティスの応答」を提示できる一方で、実際の会話に見られる矛盾を捉えることができないと感じていた。

参加者たちはまた、LLMが特定のアイデンティティに基づいてどう応答を生成するかについての不確実性を指摘していた。文化的、民族的、または社会的アイデンティティに結びついたペルソナが与えられると、機械が本物の経験に依存しているのか、表面的な特性にすぎないのかはしばしば不明瞭だった。研究者たちは、モデルがペルソナをシミュレートする際にどれだけの重みを与えるべきか、そしてその応答がそのアイデンティティグループ内のメンバーの実際の経験を意味があるように反映するのかどうかを疑問視していた。これらの考察は、複雑なアイデンティティを本物の経験を欠いた機械に単純に割り当てることへの不快感を明らかにしていた。

#自主性と同意の侵害

LLMを使って人間の行動をシミュレートすることは、参加者の自主性と同意に関する重要な倫理的問題を提起するよ。研究における参加とエージェンシーの一つの表れは、参加者が異議を唱えるときに現れる。インタビュー対象者たちは、自分たちの人間の参加者が研究者の解釈や言葉づかいに疑問を持っていたいくつかの事例を共有した。このエンゲージメントは、収集されたデータが参加者の経験を正確に反映するために重要で、研究者の最初の仮定とは異なる場合がある。逆に、研究者たちはLLMが促されない限り異議を唱えることがほとんどないと指摘してた。ダリアは、彼女の研究の多くの参加者が自分のアジェンダを持ち、その応答に応じて調整していたと説明した。

一部のインタビュー対象者は、モデルが自分たちのポイントに同意する傾向があることにフラストレーションを感じていた。エスメは、これを即興コメディのシナリオに例え、パフォーマーがパートナーの言ったことにすべて同意するのに対し、彼女の研究では人々がしばしば彼女に反論すると述べた。ヒューゴは、モデルがケアの現場でロボットに関する認識を話す際に「好ましい答え」を与える傾向があると感じた。

人間の参加者はインタビューに入る際、物語を共有することを楽しみにしていることが多い。ニコのリモート学習に関する仕事では、多くの学生が自分の経験に対する不満を表現する機会としてインタビューを利用していた。参加者たちは自分の視点を共有したがり、自分たちの用語を導入し、ニコはそれを採用していた。ニキータは、敏感な問題に関して応答を提供する機械よりも人々との関わりを持ちたいと強調してた。

LLMの使用は、同意に関する深刻な懸念を引き起こす。LLMは、個人が話すのをためらう微妙なトピックについての応答を生成する可能性があり、通常インタビューで尊重される境界を侵すことになる。ソフィアは、特定のトピックについて直接議論する参加者の不快感を観察し、彼らがより深く掘り下げることへのためらいを感じ取ることができると述べた。本物のデータ対象からの同意なしに訓練されたモデルに依存することは、アーティストの作品の無許可使用をめぐる議論と同様に倫理的な懸念を引き起こす。個人がオンラインで共有した内容に基づいて応答を導き出すためにLLMを使用することは、彼らの自主性に関する問題を引き起こす。この原則は倫理的研究にとって重要なんだ。

#質的研究の妥当性への脅威

LLMは質的研究の方法論の整合性や学術界における質的研究の地位にもリスクをもたらす。多くの研究者が質的研究が頻繁に過小評価されていると心配していて、定量的な方法と比較して厳密さが欠けていると見なされやすいと感じている。LLMを導入することで、質的アプローチがさらに周辺化され、深い作業が機械によって複製でき、より迅速に行えるかのように示唆されるかもしれない。

研究者たちは、LLMが「手抜き」のメンタリティを助長する恐れがあると懸念されていた。LLMの使用は質的研究を単なるデータ収集に還元してしまい、微妙な洞察を集めるのにより適した反復的で協力的な性質を見失う危険がある。質的研究は、参加者との対話、反省、協力を含む継続的なプロセスである。研究者が時間をかけて人々と関わることで、持続的な関係を築くことができる。ダリア、エスメ、エリオットは、公式なプロジェクトを超えて参加者との継続的なインタラクションを共有し、これらの関係が複雑な問題を理解する上で重要であることを示していた。LLMが人間の応答を置き換えると、質的研究のコラボレーティブな性質が、データを抽出するトランザクショナルなアプローチに変わる。

研究者の間でのもう一つの大きな懸念は、LLMの使用が質的研究者と彼らが関わるコミュニティとの信頼を損なう可能性があることだった。多くの脆弱なグループは、歴史的にデータを取り出すだけで支援を提供しない研究者に対して警戒心を持っている。LLMの導入は、研究者が参加者の視点を機械生成の応答に置き換え始めると、この不信が悪化する恐れがある。聴覚障害者コミュニティと頻繁に交流しているユエは、この慣行が特に過去に誤解されることに慎重なコミュニティの信頼をさらに損なうだろうと懸念していた。これらの声をアルゴリズムの出力に縮小することは、彼らの物語の価値を損ない、研究者が努力して築いた信頼を失うリスクを孕んでいる。

研究者たちはLLMに依存することへの広範な不安についても反映していた。ニキータにとって、LLMを使用することは「ディストピア的」に感じられており、たとえば、トランスジェンダーの声が重要な議論から排除される危険があると指摘した。キャメロンはこれらの恐れを要約し、このようなツールが質的手法の存在理由を過小評価していることを指摘した。つまり、データを人々の生の経験に基づいて豊かに獲得するためだ。LLMが流暢で文脈的に関連したテキストを生成できるかもしれないが、この出力には参加者との直接的な関与からのみ生まれる深さと本物さが欠けている。

#質的研究におけるLLMの可能性のある利用法

ほとんどの研究者がLLMを使って偽の研究データを生成することに不快感を示した一方で、LLMが役立ちそうなシナリオを考える人たちもいたよ。思考実験として、LLMがより効果的に働ける特定の領域を探求したけど、直接的な関与を置き換えるものではなかった。これらの利用法には参加者の間でも明確な合意がなかったことを強調するのが重要だし、各アイデアには潜在的な欠点もあった。

インタビュー対象者たちは、LLMをコントロールされた学習環境での参加者のシミュレーションに使用することを提案した。この場合、実際の研究よりもリスクが低い。これにより、新人研究者が特定の側面に焦点を合わせ、フォローアップの質問を考えられる助けになるかもしれない。ただし、いくつかの人は、LLMにプロンプトを与えることが実際の人間の参加者との真のインタラクションとはかなり異なることに注意を促してた。ダリアは、詳細な応答を受け取るためにモデルを何度もプロンプトする必要があったと述べていた。研究者たちは、インタビューの感情的な側面をマスターすることが重要だと強調していて、これはLLMを使って再現するのが難しいことだよ。ジャスミンは、LLMを使用する初心者の研究者が、ラポールを築かないとか非言語的な手がかりを無視するなど悪い習慣を身につける恐れがあると警告していた。

多くの研究者にとって、LLMは、参加者の募集が難しいときにインタビューのプロトコルをテストするのに役立つかもしれない。そうした場合には、研究者たちが質問から何の種類の応答が得られるかを見えるようにするための代役として活用できる。ただし、マリオはLLMに頼ることが研究者の焦点を予期しない形で逸らす可能性があると注意を促した。

いくつかの研究者は、LLMを使用する決定は研究のトピックや関与するコミュニティに依存すると述べた。抑圧や差別などの敏感な分野では、実際の参加者への負担を軽減する助けになるかもしれないという意見もあった一方で、LLMが生の経験の本物らしさをさらに損なう恐れもあると警告する人もいた。ナディアは、LLMが性自認や職場でのセクシュアリティのような複雑な人間の経験を正確にシミュレートできるかどうかに懐疑的だった。ただし、彼女は、ヘイトグループのような一部のコミュニティは直接研究するにはリスクが高すぎるかもしれず、LLMがオンラインのヘイトに対抗する戦略を考える手助けができる可能性があると認めていた。ニキータは、研究者がLLMに頼るのではなく、困難なトピックをナビゲートするためにコミュニティメンバーと協力するのが最善だと感じていた。

LLMを質的研究に活用することの可能性を探求する中で、限られた使用法の潜在性はあるものの、重要な制限や倫理的な懸念も慎重に考慮する必要があることが明らかになった。研究者たちは、機械生成の応答で真の人間のインタラクションを置き換えることへの懸念を持っており、人々の経験を理解するために深く微妙な関与の価値を強調していた。