開発者のための生成AIツールにおける信頼の理解
開発者の信頼と生成AIツールの使用に影響を与える要因を調査中。
Rudrajit Choudhuri, Bianca Trinkenreich, Rahul Pandita, Eirini Kalliamvakou, Igor Steinmacher, Marco Gerosa, Christopher Sanchez, Anita Sarma
― 1 分で読む
目次
生成AIツール、例えばChatGPTやCopilotは、ソフトウェア開発でどんどん受け入れられてきてるね。これらのツールは生産性を上げると言ってるけど、信頼、懐疑心、使いやすさみたいな問題が使われるのを妨げることもあるんだ。さらに、研究によると、これらのAIツールは多様なバックグラウンドのユーザーを十分にはサポートしていないことが分かってる、特に認知の多様性-人々の考え方や問題へのアプローチの違いについてね。開発者の思考スタイルがサポートされていないと、これらの技術を使うのが難しくなることがあるよ。
生成AIツールをうまく取り入れるためには、開発者の信頼に影響を与える要因や、これらのツールを使う計画を理解することが大事なんだ。この記事では、開発者の信頼に影響を与える重要な要因を特定する理論モデルを作成して、信頼と認知スタイルがこれらのツールを使う意図にどう影響するかを調べてるよ。
研究の質問
この研究では、主に二つの質問に答えようとしてる:
- 開発者の生成AIツールに対する信頼を予測する要因は何?
- 開発者の信頼と認知スタイルは、生成AIツールを使う意図にどう関連しているの?
理論モデルの開発
過去の研究に基づいて理論モデルを作って、これらの質問を探求したよ。大手テクノロジー企業のソフトウェア開発者からデータを集めたんだ。データの分析結果、AIシステムの出力の質、実用的な利益、開発者の目標をどれだけ維持できるかが、これらのツールに対する信頼に大きく影響することが分かったよ。さらに、開発者の信頼と認知スタイルも、これらのツールの採用に影響を与える。
ソフトウェア開発における生成AIツール
生成AIツールは、開発者がコードを書くやり方やイノベーションに変化をもたらすことができるんだ。ただ、これらのツールを急いで取り入れようとする動きには、疑念や挑戦も伴っている。信頼はAIツールのデザインにおいて重要で、開発者がこれらのツールを過剰に信頼したり、過小評価したりすると、エラーを見逃したり、使うことに対して躊躇することになるかもしれない。
以前の研究では、開発者の生成AIツールに対する信頼を促進するさまざまな要因が特定されている。例えば、明確な期待を設定すること、AIの提案を検証すること、サポートするコミュニティの経験を持つことなどだ。ただ、これらの要因が開発者の信頼にどう影響するかについて、まだしっかりとした証拠に基づく理解が不足している。
開発者の信頼を予測する
開発者の生成AIツールに対する信頼は、いくつかの要因によって形作られるんだ:
システム/出力の質:ツールがどれだけうまく機能しているか、正確に出力を生成しているか、安全基準を守っているかが考慮される。開発者は、信頼できる出力を提供し、自分の作業スタイルに合ったツールを信頼しやすいんだ。
機能的価値:ツールが提供する実用的な利益のこと。生産性を向上させたり、仕事の質を高めたりする方法が明確に示されているツールには、開発者はより信頼を寄せる傾向がある。
使いやすさ:簡単に使えるツールや、現在のワークフローにぴったり合うツールは、開発者の信頼を築く。使いにくいツールだと、信頼度が下がるかもしれない。
目標の維持:ツールの挙動が開発者の進行中の目標と一致すると、信頼が高まる。AIは開発者が目指すことをサポートする必要があって、常にチェックしなくても良いようにして、認知過負荷を減らすことが重要なんだ。
認知スタイルと行動意図
認知スタイルは、人が考えたり問題にアプローチしたりするさまざまな方法を指す。様々な思考スタイルを持つ開発者は、生成AIツールと異なる形でやりとりするかもしれない。以下は、これらのツールを使う意図に関連するいくつかの認知的側面だ:
モチベーション:技術を探求したり使ったりすることに興味がある開発者は、タスクを完了することに主に焦点を当てる人よりも、生成AIツールを迅速に採用しやすい。
コンピュータ自己効力感:技術を効果的に使う自信がどれだけあるかに関すること。自己効力感が高いと、新しいツールを採用する可能性が高まることが多い。
リスク態度:新しいツールを使う決定には、開発者のリスクを取る意欲が影響する。リスクを許容できる人は、リスクを避ける人よりも生成AIツールを採用する傾向がある。
情報処理スタイル:開発者が情報を集めて使う方法を反映している。行動を起こす前に徹底的に計画するのを好む人もいれば、初期の有望なアイデアで行動を起こす人もいる。
学習スタイル:新しい技術を学ぶことの好みが、生成AIツールの採用に影響を与える。いじるのが好きな開発者もいれば、構造的なアプローチを好む人もいる。
方法論
この研究の質問に答えるために、二つの大手テクノロジー企業の開発者をターゲットにしたアンケートを設計したよ。アンケートは、生成AIに対する馴染みや、それに対する態度、使う意図を把握するように設計されてる。
調査の質問を明確で関連性のあるものにするために、専門家に相談したり、パイロットスタディを実施したりした。343件の回答を集めた後、有効な238件の回答をフィルタリングして、開発者の経験の多様なミックスを代表することにした。
データ分析アプローチ
データ分析には、部分最小二乗法構造方程式モデリング(PLS-SEM)という統計技術を適用したよ。このアプローチでは、さまざまな要因間の関係を調べたり、複雑なモデルを扱ったりできる。
PLS-SEMの分析では、測定モデルの検証と構造モデルの評価の二つの主要な評価があったんだ。これにより、アンケートのツールと構成要素が信頼できて有効であることを確認できた。
結果:信頼に影響を与える要因
分析により、開発者の生成AIツールに対する信頼に貢献する要因についていくつかの仮説が支持された:
システム/出力の質:生成AIツールが信頼できる正確な出力を生成していると見なされる開発者は、より信頼を寄せる傾向がある。
機能的価値:生産性を向上させるなどの実用的な利益を提供するツールは、より大きな信頼を促進する可能性が高い。
目標の維持:AIツールが開発者の目標達成を支援する時、彼らの信頼は強まる。
結果:行動意図に影響を与える要因
この研究では、開発者の信頼と認知スタイルが生成AIツールを使う意図にどのように影響するかも強調されている:
信頼:AIツールに対する高い信頼レベルは、それを使う意図と正の相関がある。
モチベーション:技術を探求する内発的なモチベーションがある開発者は、これらのツールを採用する意欲がより高い。
コンピュータ自己効力感:新しい技術を使う自信がある人は、生成AIツールを使いたい意図が高い。
リスク態度:リスクを取ることにオープンな開発者は、生成AIツールを使う意図が高い。
実践への示唆
目標の維持に向けたデザイン
私たちの発見は、信頼を促進するために、生成AIツールは開発者の目標と一致するように設計されるべきだということを示してる。これにより、彼らの認知的負荷を減らし、スムーズなワークフローを可能にすることができる。AIツールは、開発者の変化する目標に適応する必要があって、効果的に留まるためにはそれが重要だよ。
コンテクストの透明性をサポートする
開発者は、生成AIツールが何をできて、何をできないのかを明確に理解する必要がある。この明確さは現実的な期待を設定するのに役立ち、信頼の形成を支えることにつながる。AIの理由付けや限界について透明なコミュニケーションを行うことで、誤解や誤った使い方を防ぐことができる。
公平なユーザー体験のためのインクルーシブデザイン
ユーザー体験の公平性を促進するためには、生成AIツールの設計において、開発者の多様な認知スタイルを考慮することが重要だ。異なる認知スタイルに適応することで、これらのツールはよりインクルーシブになり、幅広い開発者をサポートすることができるので、公平な採用が進むんだ。
限界と今後の研究
この研究は開発者の信頼と生成AIツールを使う意図に関する洞察を提供するものだけど、いくつかの限界がある。サンプルは特定のテクノロジー企業に限られていたため、より広い開発者コミュニティを代表しているとは限らない。今後の研究では、異なる文脈でこれらの発見を検証し、拡張することを目指すべきだ。
さらに、縦断的研究は、開発者が生成AIツールに対する経験を得るに従って、信頼と行動意図がどのように進化するかについて、深い洞察を提供することができるはずだ。
結論
要するに、この研究は開発者の信頼と生成AIツールを使う意図に影響を与える重要な要因についての光を当てている。この分析は、これらのツールの質、実用的な利点、開発者の目標との整合性が信頼を大きく形成することを確認している。また、開発者の認知スタイルやモチベーションも、これらのツールを採用する意図において重要な役割を果たしている。
生成AIがソフトウェア開発の領域で成長し続ける中、これらの要因を理解し、対処することが、これらの技術の利点を最大限に活かすには不可欠だね。
タイトル: What Guides Our Choices? Modeling Developers' Trust and Behavioral Intentions Towards GenAI
概要: Generative AI (genAI) tools, such as ChatGPT or Copilot, are advertised to improve developer productivity and are being integrated into software development. However, misaligned trust, skepticism, and usability concerns can impede the adoption of such tools. Research also indicates that AI can be exclusionary, failing to support diverse users adequately. One such aspect of diversity is cognitive diversity -- variations in users' cognitive styles -- that leads to divergence in perspectives and interaction styles. When an individual's cognitive style is unsupported, it creates barriers to technology adoption. Therefore, to understand how to effectively integrate genAI tools into software development, it is first important to model what factors affect developers' trust and intentions to adopt genAI tools in practice? We developed a theoretically grounded statistical model to (1) identify factors that influence developers' trust in genAI tools and (2) examine the relationship between developers' trust, cognitive styles, and their intentions to use these tools in their work. We surveyed software developers (N=238) at two major global tech organizations: GitHub Inc. and Microsoft; and employed Partial Least Squares-Structural Equation Modeling (PLS-SEM) to evaluate our model. Our findings reveal that genAI's system/output quality, functional value, and goal maintenance significantly influence developers' trust in these tools. Furthermore, developers' trust and cognitive styles influence their intentions to use these tools in their work. We offer practical suggestions for designing genAI tools for effective use and inclusive user experience.
著者: Rudrajit Choudhuri, Bianca Trinkenreich, Rahul Pandita, Eirini Kalliamvakou, Igor Steinmacher, Marco Gerosa, Christopher Sanchez, Anita Sarma
最終更新: 2024-12-02 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2409.04099
ソースPDF: https://arxiv.org/pdf/2409.04099
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。