Social-LLM: ソーシャルネットワーク分析の新しいモデル

ソーシャルメディアの成長のおかげで、人々がオンラインでどう行動しているかを調べる方法がたくさんできたよ。今では、人々がどう相互作用し、情報を共有し、影響を与え合っているかを、ソーシャルネットワークのデータをもとに詳しく見ることができる。でも、大量のソーシャルネットワークデータを扱うのは難しいんだ。大きな言語モデルはテキストコンテンツの処理が得意だけど、効率的に動作するソーシャルネットワーク用のモデルを作るのは挑戦的なんだ。

そこで、私たちはユーザーをより効果的に特定するための新しい方法を提案するよ。このアプローチは、ソーシャルネットワークからのローカルな相互作用と、大きな言語モデルの強みを組み合わせている。私たちのモデルは、ソーシャルネットワーク同質性の考えに基づいていて、これは、ソーシャルネットワークでつながっている人々は共通点を持つことが多いって意味だ。私たちは、さまざまなトピックやタスクを対象とした7つの実際のソーシャルメディアデータセットでこの方法をテストして、ソーシャル行動の理解を改善できる能力を示したよ。

最近のソーシャルメディアの台頭は、研究者たちにリアルデータに基づく人間行動を研究する素晴らしい機会を提供している。ソーシャルネットワークデータを使うことで、意見の変化、健康トレンドの広がり、政治的対立の成長、さらには偽情報の拡散まで追跡できる。ソーシャルネットワークデータは主に、ユーザーが共有するコンテンツと、誰が誰といつ、どれくらいの頻度でやり取りしているかのネットワークで構成されている。大きな言語モデルの進歩のおかげで、ソーシャルネットワークデータのテキスト部分の管理が楽になった。でも、ネットワーク部分を効果的に扱うには、専門的な手法がまだ必要で、大量のデータに直面すると苦労することが多い。

この問題に取り組むために、私たちはローカルな相互作用に焦点を当てた大規模ソーシャルネットワークデータのモデル化のための実用的なアプローチを提案するよ。私たちのメソッドはソーシャルネットワーク同質性の考えに依存している。この概念は、ネットワーク内でつながっているユーザーは似たような特徴を持つ可能性が高いことを示唆している。具体的には、大きな言語モデルを使ってユーザーのプロフィール説明を分析することで、彼らの興味やアイデンティティに関する洞察を得ることができる。私たちの提案したモデル、Social-LLMは、リツイートやユーザープロフィール情報に基づいて政治的な傾向を検出するために設計された以前のモデルを基にしている。このモデルを全てのタイプのソーシャルネットワークの相互作用に対応できるように拡張して、政治的分極化やオンラインのヘイトスピーチ、アカウントの停止の特定など、さまざまな用途に適したものにしている。

要するに、私たちの貢献のキーポイントは以下の通りだよ：

1. Social-LLMを提案する、ユーザーコンテンツとソーシャルネットワーク情報を組み合わせた柔軟なモデルで、ユーザーを検出する。
2. 7つの実際のソーシャルメディアデータセットに対してSocial-LLMを評価し、様々なトピックやタスクでの効果を示す。
3. Social-LLMの埋め込みがビジュアライゼーションに使用できることを強調する。

#関連研究

ソーシャルネットワーク内のユーザー検出は、政治的バイアスの特定や偽アカウントの発見、有害な行動の警告、影響力のあるユーザーの認識、誤情報への脆弱性の評価など、多くの研究分野にとって重要だ。多くのユーザー検出手法がソーシャルネットワークの特徴を調べているが、ユーザー間の複雑な関係よりも、ユーザーがネットワーク内でどれだけ中心的かといった単純な統計に焦点を当てているんだ。

プライバシーの懸念や技術的限界のために、ソーシャルネットワークデータへのアクセスは難しいこともある。このデータがどれだけ簡単に入手できるかを私たちは制御できないけど、それをモデル化する方法を改善することはできる。グラフ表現学習のような手法はソーシャルネットワークから重要な情報をキャッチできるけど、多くの計算リソースを必要とすることがしばしばある。ソーシャルネットワークデータの膨大なサイズは、多くのデバイスが処理できるものを超えてしまうことがあり、これらの手法を効果的に実行するのが難しくなるんだ。

私たちのアプローチでは、ソーシャルネットワークデータを保持しつつ、ファーストオーダーの関係だけを考慮することでモデリングを簡素化するよ。これは、ユーザー同士の直接的なつながりだけを見ることなんだ。このアプローチが、より複雑でリソースを多く必要とする方法に頼らずにソーシャルメディアでのユーザー検出に十分であることを示すんだ。

Social-LLMは、ユーザーの相互作用データとユーザープロフィール情報を活用する。これは、同様の手法であるTIMMEやGEMとは異なり、これらもソーシャルネットワークデータを使っているが、元のトレーニングセットに含まれていない新しいユーザーには対応できない。対照的に、Social-LLMは、新しいユーザーにも、彼らのコンテンツ情報さえあれば適用できる。

#コンテンツとネットワークの手がかり

私たちのモデルでは、主に2種類の情報を使用している：コンテンツの手がかりとネットワークの手がかり。

#コンテンツの手がかり

コンテンツの手がかりは、ユーザーがソーシャルメディアで共有する内容、主にプロフィールの説明から来る。これらのプロフィールは、ユーザーが自分について重要なことを短く共有するバイオのようなものだ。これらの説明には、興味や役割、信念といった重要な個人情報が含まれることが多い。160文字に制限されるため、ユーザーは簡潔に、重要な情報を強調する傾向がある。すべてのツイートを調べる代わりにTwitterのプロフィールを研究することで、問題の管理が楽になり、広範なデータ収集の必要が減る。プロフィールの説明に加えて、フォロワー数やアカウント作成日といった他のメタデータも見るかもしれない。

#ネットワークの手がかり

ソーシャルメディアプラットフォームは、フォロー、いいね、投稿の共有など、ユーザーが相互作用する多くの方法を提供している。これらの相互作用はネットワークを形成する。Twitterでは、リツイート（別のユーザーのツイートを共有する）やメンション（ツイート内で別のユーザーを言及する）など、さまざまなタイプの相互作用を収集できる。誰かをフォローすることは相互作用の重要な指標だけど、APIの制約から研究にはあまり使われていない。だから、私たちはリツイートとメンションに焦点を当てている。リツイートは通常、元のコンテンツへの支持を意味し、メンションは批判やエンゲージメントに使われることがある。

#Social-LLMフレームワーク

私たちは、Social-LLMというモデルをトレーニングして、ユーザーの相互作用に基づいて似たユーザーをグループ化できるようにしている。トレーニングが終わったら、このモデルを使って任意のユーザーのコンテンツを分析して、彼らのユーザー埋め込みを得ることができる。これにより、さまざまなタスクに役立つ意味のある方法で彼らを表現する意味がある。

#ユーザー表現モジュール

ユーザー表現モジュールは、事前にトレーニングされた大きな言語モデルを取り入れて、ユーザーのプロフィール説明に適用する。このモデルはパフォーマンスを向上させるためにファインチューニングされることができる。追加のユーザーメタデータやツイートの埋め込みがある場合、それらは数層を通して処理され、最終的に各ユーザーの単一表現にまとめられる。

#教師なしトレーニング

私たちは、Sentence-BERTに似たSiameseアーキテクチャを使用してトレーニングを行う。この設定では、ソーシャルインタラクションによって接続されたユーザーのペアを入力する。私たちの目標は、接続されたユーザーの表現をできるだけ似たものにすることだ。これを達成するために、彼らの埋め込みのコサイン類似度を最適化する。リツイートやメンションのようなさまざまなタイプの接続を考慮し、リツイートがユーザーAからユーザーBへのものであることとその逆は意味が違うことも考慮に入れている。

#複数のネガティブランキングロス

モデルのトレーニングには、ポジティブサンプル（接続されたユーザー）をネガティブサンプル（未接続のユーザー）と比較するランキング損失関数を使用するよ。ネットワーク内で接続されているすべてのユーザーペアはポジティブとして扱われ、未接続のペアはネガティブとして扱われる。同じバッチ内の接続がネガティブとして使用される技術、複数のネガティブ損失を用いてトレーニングを加速させ、モデルがより良く学ばせることができる。これにより、接続が似た表現を持つようにすることが助けられる。

#ダウンストリームタスクの適用

トレーニング後、Social-LLMはさまざまなユーザー予測タスクに適用可能な有用なユーザー表現を生成する。このモデルをさらにファインチューニングしたり、特定のタスクのために特定のレイヤーを追加したりできて、適用の柔軟性が高い。

#利点と欠点

Social-LLMは、ソーシャルネットワーク要素を追加することで以前のユーザー検出方法に基づいている。いくつかの顕著な利点があるよ：

1. トレーニングの容易さ： トレーニングプロセスが迅速で、大規模データセットを効率的に扱える。エッジにのみ焦点を当てていて、ネットワーク全体をトレーニングする必要がないからだ。
2. 帰納的能力： Social-LLMは新しいユーザーの表現を生成でき、追加の再トレーニングなしに彼らのコンテンツのみに依存する。
3. 再利用性： モデルは異なるアプリケーションに再利用でき、さまざまなタスクにわたって学習済みの埋め込みを維持できる。

ただし、Social-LLMにはいくつかの欠点もあるよ。ファーストオーダーの接続に焦点を当てることで、より大きなネットワーク構造からの有用な情報を見逃す可能性がある。でも、多くのユーザー検出タスクでは、ローカライズされた接続だけを使うことで、ソーシャルネットワークをまったく無視するモデルよりもパフォーマンスを向上させることができるんだ。

#データセットの概要

私たちのアプローチを検証するために、いくつかのデータセットを使用したよ。最初の2つは、政治的傾向に焦点を当てた別のモデルで以前に使われたもので、ユーザープロフィールやリツイート情報を基にユーザーの政治的所属を予測するためのものだ。私たちは、さまざまなユーザーメタデータやネットワーク特徴を備えた追加のデータセットを紹介していて、私たちのアプローチの堅牢性を示すために、さまざまなラベルや予測方法を展示している。

#COVID政治

COVID-19パンデミックは、オンラインでの世界的な会話に大きな影響を与えた。研究によると、パンデミックを巡る政治化は議論に影響を与えたんだ。私たちのデータセットには2020年1月から7月までのツイートが含まれ、ユーザーの政治的所属を予測することを目的としている。約78,672人のラベル付きユーザーから、180,928のリツイート相互作用があり、左寄りの傾向が強い部分が示されている。

#2020年米大統領選挙

このデータセットには、2020年の米大統領選挙に関するツイートが含まれていて、政治的な予測ができる。約280万のリツイート相互作用があり、右寄りと左寄りのユーザーの分布は均等だ。

#COVID道徳

私たちはCOVID-19に関する研究を拡張し、道徳的価値観を含めることにしたよ。2020年2月から2021年10月までのデータを集めて、ユーザーの道徳的基盤を予測することがこのタスクだ。データセットには、ユーザーメタデータやリツイートおよびメンションに基づく相互作用が含まれている。

#ウクライナ-ロシアの停止アカウント

ウクライナ-ロシア戦争の際、ソーシャルメディアで誤情報が広がった。このデータセットは、2022年3月中のツイートを集め、ユーザーがアクティビティに基づいてTwitterから停止されたかどうかを予測することを目的にしている。

#ウクライナ-ロシアのヘイト

前のデータセットに基づいて、こちらは対立中のユーザーの毒性レベルを検出することに焦点を当てている。私たちは、ユーザーの行動に関する洞察を提供するため、確立されたAPIを使ってツイートの毒性を分析している。

#移民ヘイト

このデータセットは、移民に関するヘイトスピーチに焦点を当て、特定のユーザーが投稿した非寛容なコメントに関する歴史的なツイートを使用している。私たちはこのデータセットを拡張するために追加のツイートを集め、前のデータセットと同じく毒性を分析した。

#実験セットアップ

私たちは、いくつかのベースラインアプローチに対して私たちの手法を評価する一連の実験を行っている。ユーザー検出のパフォーマンスを比較するために、すべてのデータセットで一貫したトレーニングとテスト手法を使用する。タスクは特定の指標を使って評価され、Social-LLMの能力の徹底的な評価が保証されている。

#ベースライン手法

公正な比較を提供するために、最先端のベースライン手法を、コンテンツベース、ネットワークベース、ハイブリッド手法の3つのカテゴリーに分けて使用している。それぞれが評価のためにユーザー埋め込みの代替を提供している。

#コンテンツベース手法

コンテンツベース手法では、主に大規模な事前トレーニングされた言語モデルの埋め込みを探求している。特定のタスクに対してこれらのモデルをファインチューニングすることもあるが、初期テストでは基本的なパフォーマンスが私たちのニーズには十分であることを示している。

#ネットワークベース手法

評価のために、ネットワークベース手法であるnode2vecとProNEを取り入れている。これらの手法は、ユーザーの相互作用に基づいてユーザー関係を調べることを可能にし、ネットワークの特徴の有用性に関する洞察を提供する。

#ハイブリッド手法

TIMMEは、私たちのハイブリッド手法のベースラインとして機能する。ユーザーの分類のために最初に設計されたが、回帰タスクを処理できるように改造して、そのパフォーマンスを私たちのモデルと並べて評価することを可能にした。

#結果

私たちの実験は、Social-LLMがさまざまなデータセットでこれらのベースラインモデルと比較して効果的であることを示している。結果を分析し、各手法の家族内で最良のパフォーマンスを示す戦略について結論を導き出す。

#実験1：LLMの選択

まず、異なる大きな言語モデルを使って、私たちのタスクで最もパフォーマンスの良いオプションを特定する実験を行った。私たちの発見は、特定のモデルがデータセット全体で他のモデルを一貫して上回ることを示している。

#実験2：主要実験

主要な実験では、Social-LLMを最良のベースライン手法と比較している。結果は、私たちのモデルがさまざまなタスクで一般的により良い成果を達成していることを示していて、その信頼性と効果を証明している。

#実験3：エッジタイプのアブレーション

リツイートやメンションなど、異なるタイプのエッジを使用することがパフォーマンスに与える影響を探求している。結果は、両方のタイプを使用することが有益である一方、時にはそれらを単一のエッジタイプとして扱った方が良い結果につながることを示唆している。

#実験4：エッジの重みと方向性

エッジタイプに重みと方向性を加えることがパフォーマンスに与える影響を評価する。結果は、方向性を含めることでパフォーマンスが向上することを示していて、ユーザー間の相互作用の流れを理解する重要性を強調している。

#実験5：ユーーツイート埋め込み

ウクライナ-ロシア-停止データセットでは、ユーーツイートの埋め込みを組み込むことがパフォーマンスにどのように影響するかを探求している。私たちの発見は、この情報を統合することで改善が見られることを示している。

#実験6：次元サイズに対する感度

最後に、埋め込み次元のサイズがパフォーマンスに与える影響を分析する。観察したところ、より大きな次元は通常、より良い結果を生み出すが、低い次元でも満足できる成果を提供している。

#Social-LLM埋め込みのビジュアライゼーション

Social-LLMの埋め込みがソーシャルネットワークのダイナミクスを視覚化するためにどのように役立つかも強調している。TSNEのような手法を使って、ユーザー間の関係や違いを視覚的に表現できることで、ソーシャルネットワークの根底にある構造に関する貴重な洞察を提供する。

#結論

この研究で、Social-LLMをソーシャルネットワークデータをモデル化するための拡張性があり効果的な方法として提示したよ。ユーザーのプロフィールからのコンテンツ情報とソーシャルネットワークからの相互作用データを組み合わせることで、ユーザーの検出と分析のための強力なツールを作成できた。さまざまなデータセットで私たちのモデルを評価した結果、コンテンツやネットワーク特徴のみに依存する従来の手法よりも利点があることが示された。特に、一度トレーニングすると、Social-LLMは新しいユーザーに対して多くのタスクに適用でき、その効率性と幅広い適用性を示している。

ファーストオーダーの近接性に焦点を当てて、リツイートやメンションデータを効果的に活用することで、私たちのアプローチは実際のソーシャルメディア分析に対して堅牢で適応性のあるものとなった。また、ユーーツイート埋め込みを統合することでパフォーマンスが向上することも示した。全体として、Social-LLMはソーシャルネットワークにおけるユーザー行動を研究するための貴重なフレームワークを提供し、計算社会科学における将来の研究の道を開くものとなったよ。