Stack Overflowの質問の質を評価する

Stack Overflow (SO)は、プログラミングに関する質問をしてコミュニティから回答をもらえるよく知られたサイトだよ。ここでは質が重要で、投稿の有用性が人々がサイトをどう見るかに影響するからね。ユーザーは質問や回答に投票することで、何が良いか悪いかを決めるんだ。だけど、ちょっと変なことに気づいたんだ：良い回答をもらった質問が、アップボートよりダウンボートが多いことがあった。このことは、投票システムが公正かつ正確かどうか疑問を投げかける。

この論文では、SOユーザーが質問の質をどう判断するかを調べて、その見解を客観的な指標と比較するよ。250万件以上の質問から情報を集めて、質をチェックするためにいろんなツールを使ったんだ。目標は、人々がこれらの質問についてどう思っているのが、私たちが測れる数字と一致するのかを見ることなんだ。

#重要性

ユーザーがSOの投稿を評価する方法は、必ずしもその投稿の質を反映しているわけじゃないかもしれない。ユーザーは自分の投稿の評価に対してフラストレーションを表現することが多いんだ。この懸念から、主観的な評価が質の客観的な測定とどれだけ一致しているかを調べることが必要だと思うんだ。これによって、Stack Overflowのようなサイトでの質問の有用性を評価するより良い方法に向けて進むことができる。

#研究質問

主に2つの質問に焦点を当てるよ：

1. SOの質問の質に関するユーザーの意見は、客観的な質の指標と一致するのか？
2. 質の基準で質問を分類するためのモデルを作れるのか？

#データ収集

これらの質問に答えるために、Stack Overflowから2,527,082件の質問を集めたよ。最低1つの回答があり、評価（投票を受けている）され、2017年以前に投稿された質問だけを含めたんだ。こうすることで、質問がかなりの時間評価されたことを確保した。

質問を2つのグループに分類したよ：

• 促進された質問：これらの質問はスコアが0より大きい（アップボートがダウンボートより多い）。
• 萎縮した質問：これらの質問はスコアが0未満（ダウンボートがアップボートより多い）。

これらの質問の約75%には少なくとも1つのコードスニペットがあったので、このデータを使って質問の質を分析したんだ。

#質の分析

促進された質問と萎縮した質問を、質を決定するために10個の異なる指標を使って調べたよ。これらの指標は質問のさまざまな側面を測定するために設計されているんだ：

1. タイトルの質：タイトルは質問をどれだけよく反映しているか？
2. テキストの可読性：質問はどれだけ読みやすいか？
3. コードの可読性：コードスニペットはどれだけ理解しやすいか？
4. テキスト-コード比：コードのためにどれだけ説明が提供されているか？
5. テキスト-コード相関：説明はコードとどれだけ合っているか？
6. コードの再利用性：そのコードは効果的に再利用できるか？
7. コードの理解しやすさ：コードが何をするのか理解するのはどれだけ簡単か？
8. トピックのエントロピー：トピックはどれだけ明確で具体的か？
9. 指標のエントロピー：珍しい言葉が使われているか？
10. 感情の偏り：質問の感情的なトーンは？

これらの指標を促進された質問と萎縮した質問で比較して、明らかな違いがあるか、ユーザーの評価がこれらの客観的な測定と合致するかを見たんだ。

#結果

#1. タイトルの質

タイトルは質問を要約するため、すごく重要だよ。促進された質問と萎縮した質問のタイトルの質には特別な違いはなかったけど、特定のプログラミング言語を見たときには、促進された質問の方が少し良い傾向があったんだ。

#2. テキストの可読性

テキストの可読性を計算したんだけど、促進された質問は萎縮した質問に比べて読みにくかった。可読性のスコアには明らかな差があって、ユーザーは萎縮した質問の方が理解しやすいと感じたみたい。

#3. コードの可読性

促進された質問と萎縮した質問の両方が、コードの可読性スコアが低かった。多くのコードスニペットが読みにくかったんだ。かなりの割合のコードスニペットが構造が悪かったり、理解を難しくする不要な要素があったよ。

#4. テキスト-コード比

促進された質問は一般的に、萎縮した質問よりもコードに対して詳細な説明があった。つまり、促進された質問を作成したユーザーは自分のコードをよりよく説明していて、それが高いスコアに貢献している可能性があるんだ。

#5. テキスト-コード相関

説明がコードスニペットにどれだけ合っているかを見たとき、促進された質問の方が萎縮した質問より強い相関があった。このことは、良い説明が質問の質において重要な役割を果たしていることを示唆しているね。

#6. コードの再利用性

萎縮した質問のコードは、その構造のおかげで再利用しやすいことが多かったけど、促進された質問のコードは効果的に適用するのが難しかったよ。

#7. コードの理解しやすさ

コードスニペットの理解しやすさには、どちらのグループにも明確なパターンは見られなかった。両方のタイプの質問で使われているAPIの数は似ていて、開発者がコードが何をしているのかを理解するのに、どちらのグループにも明確なアドバンテージはなかったんだ。

#8. トピックのエントロピー

促進された質問は萎縮した質問よりも具体的で、あまりあいまいなトピックを使わなかった。この明確なトピックの選択は、ユーザーが質問の内容を混乱せずに理解するのに役立つだろうね。

#9. 指標のエントロピー

促進された質問は萎縮した質問に比べて、より珍しい用語を使用していた。これは、高品質の質問が特異なプログラミング用語を導入して、文脈を絞り込む助けになることを意味するよ。

#10. 感情の偏り

感情的なトーンについては、促進された質問と萎縮した質問の間に大きな違いはなかった。約半分の質問が中立的な感情を持っていて、感情のトーンはユーザーの投票に大きな影響を与えていないかもしれないね。

#機械学習モデル

データを分析した後、質問を促進されたか萎縮したかのカテゴリーに分類するために機械学習モデルを作ろうとしたよ。収集した客観的な指標に基づいて質問の質を予測するために、5つの異なるタイプのモデルを開発したんだ。私たちのモデルには：

1. 決定木
2. ランダムフォレスト
3. 人工ニューラルネットワーク
4. K近傍法
5. ガウスナイーブベイズ

これらのモデルをデータセットでトレーニングしてテストしたところ、モデルの精度は76%から87%の間で達成されたよ。これは、質問の質を分類しようとした以前のモデルよりもかなり高い。

#結論

私たちの研究は、ユーザーがStack Overflowの質問の質に必ずしも満場一致で同意しないかもしれないことを示しているんだ。一部の指標、例えばトピックのエントロピーやテキスト-コードの相関はユーザーの評価と明確に一致している一方で、テキストの可読性やコードの再利用性などはそうではなかった。このことは、Stack Overflowの評価システムが、より信頼できる質の評価を保証するために改善が必要かもしれないことを示唆しているね。

さらに、私たちの分類モデルは、ユーザーが質問を投稿する前にうまく評価される可能性を予測するのに役立つから、サイト上の質問全体の質を向上させるかもしれない。

この研究は、Stack OverflowのようなQ&Aプラットフォームで質の評価メカニズムを強化するための将来の研究の基礎を築いているよ。主観的な評価が客観的な測定とどのように関連しているかを調べることで、プラットフォームを利用する開発者コミュニティに利益をもたらすより効果的な評価戦略を推進できるんだ。