持続可能な開発目標のマッピングのための言語モデルの評価

大規模言語モデル（LLM）は、人間のようなテキストを生成するために技術を理解し、使う方法を変えてる。特にオープンソースのバージョンが多く出回っていて、ユーザーはデータをサードパーティに渡すことなく、安全に作業できるんだ。これらのモデルをローカルで使うことで、個人や組織はデータをプライベートに保ちつつ、自分たちのニーズに合わせて調整できる。

この研究は、異なる言語モデルが17の持続可能な開発目標（SDG）に出版物をマッピングする性能を見てる。比較のために使った主なモデルは、よく知られた有料モデルのGPT-4oだ。他にも、Mixtral、LLaMA 2、LLaMA 3、Gemma、Qwen2、そしてGPT-4oの小型版であるGPT-4o-miniを見たよ。SDGマッピングのタスクは、各出版物に対して複数の目標が関わる可能性があるから、F1スコア、精度、再現率といった指標を使ってモデルの性能を測った。この指標は、各モデルが出版物に対してSDGを正しく特定し、割り当てられるかを理解するのに役立つ。

実験では、研究銀行からランダムに1,000の出版物を選んだ。各モデルには、出版物を異なるSDGにリンクさせて、そのつながりを説明するという同じプロンプトを与えた。この文脈でオープンソースモデルが有料モデルとどう違うのかを見極めるのが目的だった。

LLMは、本や記事、ウェブサイトなどの膨大な情報から学ぶ。深層ニューラルネットワークに基づいていて、複雑な言語タスクを扱えるんだ。ただ、OpenAIのChatGPT、GoogleのLaMDA、MicrosoftのTuring-NLGみたいな有名なモデルは無料では使えないし、サブスクリプション料金がかかることもある。特に敏感な情報に関しては、プライバシーやデータセキュリティが心配されるから、ローカルマシンで操作できるオープンソースのLLMがますます重要になってる。

私たちの研究では、1,000の出版物のタイトルと要約をモデルに入力してSDGにマッピングした。私たちが設計したプロンプトは、モデルに出版物を分析させ、どのSDGに関連しているかを判断し、各割り当ての理由と共に信頼度を示させるというものだった。評価を公正に保つために、全てのモデルに同じプロンプトを与えた。

性能を評価するために、7つのモデルから出力を集めて比較した。GPT-4oはその結果が広く評価されていたので、基準モデルとして使った。出力は構造化されたフォーマットにまとめて、モデルの性能を一貫して比較できるようにした。

評価プロセスでは、各モデルがSDGを割り当てる性能を示す指標を使った。タスクが出版物を複数のカテゴリーに分類することに関連しているため、F1スコア、精度、再現率のような指標に注目した。これによって、モデルがSDGをどれだけ正確に割り当てるか、どのくらいの正しい割り当てを見逃すかを見ることができた。

私たちの結果から、LLaMA 2やGemmaのようなモデルは、他のモデルに比べて性能にまだ目立ったギャップがあることに気づいた。一方、GPT-4o-mini、LLaMA 3、Qwen2のようなモデルは比較的良いパフォーマンスを示して、さまざまな信頼度のパターンで似たような結果を出した。結果は、LLaMA 2とGemmaがSDGマッピングタスクにはあまり効果的でないことを示している。

各モデルの実行にかかる時間とコストも記録して、有料モデルのGPT-4oを使うと無料のオープンソース代替品よりも高いコストがかかることに注意した。例えば、GPT-4oの処理コストはGPT-4o-miniのそれよりもかなり高かったし、小型モデルの方が管理が楽で読み込みも速かった。

モデルからの出力は、17のSDGに基づいて評価された。例えば、出版物を分析したとき、モデルはすべての目標に対して評価を提供し、信頼度も示した。こうすることで、どのモデルがどの条件で一番良いパフォーマンスを発揮したかを明確に追跡できる一貫した測定を確保した。

結果を視覚化することで、各モデルが異なる設定でどうだったかを把握できた。F1スコアは全体の性能を理解するための重要な指標として際立っていた。GPT-4o-miniやLLaMA 3のような上位モデルは一貫して高いスコアを維持し、一方でGemma 2やLLaMA 2のようなモデルは後れを取っていた。

精度と再現率も考慮し、各モデルが真陽性の予測にどれだけ優れているか、または偽陽性を避ける能力について注目した。例えば、MixtralやLLaMA 3のようなモデルは優れた精度スコアを示したので、偽陽性を避けることが重要なタスクには適している。一方で、GPT-4o-miniやQwen2は再現率に優れていて、真陽性を見逃すことが深刻な影響を及ぼす場合には重要。

全体として、公共の出版物をSDGにマッピングするためにこれらのモデルを使うことで、いくつかのオープンソースの代替品が期待されるものの、GPT-4oのような有料モデルに比べてまだ長い道のりがあることがわかった。私たちの発見に基づいて、GPT-4o-miniは良いパフォーマンスと速度、コストのバランスが取れたモデルとして際立っていて、再現率と精度の両方が必要なタスクに強い選択肢になる。

結論として、私たちの研究は、さまざまな言語モデルが出版物を持続可能な開発目標にマッピングする効果についての洞察を提供している。オープンソースと有料モデルの両方の利点と潜在的な限界を強調していて、研究者や組織が自分たちのプロジェクトにLLMを導入する際の役立つガイドを提供してる。これらのモデルのパフォーマンスを理解することで、ユーザーはSDGマッピングタスクの文脈に特に最適なモデルを選ぶための情報に基づいた決定ができる。

この発見は、利用可能な言語モデルの風景をナビゲートする手助けとなり、持続可能な開発の観点から世界的な課題に対処するためのAIの力を活用しようとする今後の研究やプロジェクトを導く指針となるだろう。