AIで学術知識へのアクセス向上

#はじめに

学術コミュニケーションは急成長してて、重要な知識がいっぱいある。でも、ほとんどの知識は検索しづらい文書にあるんだ。従来の情報検索方法は複雑なフォーマットのおかげでいつも上手くいかない。これを解決するために、研究者たちは学術知識グラフを使い始めた。これらのグラフは、異なる知識のつながりを示すことで、情報を見つけやすくしてくれる。

この知識グラフを使った質問応答システムを活用することで、学術知識をみんながもっとアクセスしやすくできる。けど、まだプレーンテキストでの情報も残ってて、構造化データと非構造化データを組み合わせる混合アプローチの必要性がある。

この記事では、学術データに関連する質問に答えるための特定の人工知能モデルを使った二段階アプローチを紹介する。まず、いろんなソースから関連するコンテキストを取り出して、次にAIモデルにより良く情報を提示する方法を改善する。

#知識グラフの背景

学術知識は通常、記事の形で見つかって、急速に拡大してる。これらの記事には、自動で抽出するのが難しい貴重な情報が含まれていることが多い。構造化データと非構造化データが混在してることが多いから、情報を理解するのを助けるために様々な学術知識グラフが作られた。これらのグラフは、知識を構造的に表現して、機械が読み取れるようにして、さらに研究に使いやすくする。DBLPやOpenAlexみたいな有名なグラフがこの目的で人気になってきてる。

知識グラフは、さまざまな概念をつなげて、それらがどう関係しているかを示すことで機能する。これにより知識を整理できて、さまざまなアイデア間の関係を明らかにする。これらのグラフを使うことで、学術データに関する質問に効率よく答えるシステムを作ることができる。

#従来の方法の問題点

従来の学術記事の情報検索方法は、しばしば不足している。文書の構造に焦点を当てているため、新しい洞察やつながりを見つけることができないことが多い。ここで学術知識グラフが重要な役割を果たす。

知識グラフは情報を構造的に表現する方法を提供するけど、まだプレーンテキストでの学術知識が存在する。従来のシステムは、このテキストを知識グラフの構造化データと組み合わせるのが難しい。

#ハイブリッド質問応答アプローチ

これらの問題に対処するために、構造化データと非構造化データの両方を使った二段階アプローチを開発した。我々のアプローチでは、大規模な言語モデルを使って情報を理解する。

#ステップ1: コンテキストの抽出

我々のアプローチの最初の部分は、さまざまなソースからコンテキストを集めることだ。質問に基づいて関連する情報を抽出する。このステップは三つの部分に分かれている。

1. データソースの接続: 知識グラフのユニークな識別子を使って異なるデータソース間のリンクを確立する。
2. 情報の取得: これらの識別子を使って、DBLPやSemOpenAlexのような構造化データベースから著者情報を集める。
3. テキストの抽出: ウィキペディアや他の非構造化ソースにある役立つテキストを探して、著者やその所属機関についての手がかりを得る。

このプロセスによって、質問に答えるために必要なすべての関連情報を集めることができる。

#ステップ2: 情報提示の改善

関連するコンテキストを集めた後は、これをAIモデルに効果的に提示する必要がある。ここでプロンプトエンジニアリングが登場する。

プロンプトは、AIモデルに情報の処理方法を指示する一連の指示だ。プロンプトを注意深く設計して、以下の四つの主要な部分を含めるようにする。

1. 指示: コンテキストを解釈するためのモデルへの明確なガイドライン。
2. クエリ: 実際に尋ねられる質問のオリジナルと言い換えた形式。
3. コンテキスト: 三つのデータソースから集めた情報を、整然としたセクションに整理する。
4. 出力インジケーター: 出力をどうフォーマットするかの指示。

プロンプトを洗練させることで、モデルによって生成される応答のエラーを最小限に抑えることができる。

#結果と評価

我々のアプローチを評価するために、学術的な質問に特化したデータセットでテストを行った。このデータセットは、著者やその研究に関連する質問から成る。

システムのパフォーマンスは、正確さとF1スコアの二つの指標で測定した。正確さは正しい回答の数を測る一方、F1スコアは部分一致を考慮して、結果のより nuanced な評価を提供する。

我々の結果は、そこそこ良いパフォーマンスを示したけど、改善すべき点がいくつかあった。

#遭遇した課題

プロジェクトの中で、システムのパフォーマンスに影響を与えるいくつかの課題に直面した。

#情報の欠落

我々が見つけた問題の一つは、知識グラフの一つから特定の著者識別子（ORCID）が欠落していたこと。これにより、必要な情報をすべてつなげることができず、不完全なデータ抽出になった。

新しいバージョンの知識グラフにアクセスしようとした際にも、情報の提示方法の更新により矛盾が生じた。

#一貫性のないAI応答

もう一つの大きな課題は、AIモデルの一貫性のない応答が生じることだった。正しい情報があるときでも、モデルが「幻覚」を起こしたり、正しい数が存在するのにランダムな数を生成することがあった。

また、特定の指示に従うのが難しくて、必要のない詳細を含む回答になった。

#結論

この論文では、知識グラフと非構造化ソースからのデータを組み合わせて、学術的な質問に対する回答を改善する方法を紹介した。我々のアプローチは、コンテキストを抽出し、モデルのパフォーマンスを向上させるためにプロンプトを洗練することを含んでいる。

結果は期待できるものだったが、AIモデルの応答の不整合はさらなる研究の必要性を示している。今後は、言語モデルの情報検索能力を改善して、学術分野でより正確で信頼できる回答を提供する方法を探求していく。

これらの課題に取り組むことで、学術知識をよりアクセスしやすく、みんなに役立つものにすることに貢献したいと思っている。