AIの健康研究効率への影響

イギリス健康安全局（UKHSA）は、健康と社会福祉省の一部なんだ。主な目的は、感染症や環境の危険みたいな健康の脅威を防いだり、対応したりすることだよ。UKHSAは、地域や国際のパートナーと協力して、公共の健康を守り、国の健康安全を強化するために働いているんだ。

UKHSAの中には、知識と図書サービス（KLS）っていう部門がある。KLSは、信頼できる情報を見つけたりアクセスしたりする手助けをしている。文献検索の専門家や、文書の取得、証拠のレビュー、知識の管理など、いろんなサポートサービスを提供してる。チームは、知識管理や文献検索などの異なる分野を専門とする35人のメンバーで構成されているよ。

#主要サービスに注目

この記事では、KLSが提供する2つの重要なサービス、文献検索と証拠レビューについて話すね。

#文献検索

KLSは、文献検索の異なるレベルを提供してる。簡単な参考文献リストの作成、トピックごとの結果の整理、証拠の要約、体系的レビューの実施などがあるよ。2023年からは、急速レビューやマッピングレビューみたいな新しいサービスも追加されたんだ。これは特定の手順を踏んで証拠を集めて分析するものだよ。

KLSの全員が同じ作業をしているわけじゃない。文献検索を定期的に行うスタッフもいれば、証拠レビューだけに参加している人もいる。今のところ、証拠レビューを専門とするスタッフは4人で、17人のチームメンバーが頻繁に文献検索をしているよ。

#証拠レビュー

証拠レビューは、既存の研究を体系的に評価するプロセス。いくつかのステップが含まれてる：プロトコルの開発、データベースの検索、タイトルや要約のスクリーニング、データの抽出、証拠の質の評価、結果の統合などだよ。

#KLSにおけるAIの導入

2022年、KLSは、文献検索や証拠レビューのサービスを改善するために、人工知能（AI）の利用を検討するグループを作ったんだ。このグループは、AIへの関心の高まりや新しいAIツールの登場に応じて結成されたんだ。

AI作業グループは毎月集まっていて、KLSの誰でも参加できるよ。最初は10人でスタートしたけど、今では14人に増えた。AIや新しい技術の使い方について話し合ったり、他の分野の人と知識を共有したりしてる。グループは他の組織から専門家も招いて、AIツールの使い方についての知見を共有してもらってるんだ。

#文献検索におけるAIの応用

AI作業グループは、文献検索を支援するためにいくつかのAIツールをテストしたよ。特に注目すべきツールはCitationchaserとDeduklick。どちらも文献検索を効率的にすることを目的としてるんだ。

#Citationchaser

Citationchaserは、研究記事内の参考文献を見て関連する研究を探す引用検索を手助けしてくれる。これは時間がかかるプロセスだから、Citationchaserは自動化して、ユーザーが引用された作品を簡単に検索できるようにしてるんだ。

2022年11月、グループのメンバーの一人がCitationchaserのテストを行った。18の参考文献を使って、ツールの動作を調べたよ。結果は、特に文献データベースからの文書を取得した場合に、Citationchaserが参考文献を見つけるのに効果的だと示したけど、グレーリテラチャーの参照を特定するのは苦手だった。

作業グループはCitationchaserが使いやすく、引用検索に役立つと感じたため、KLSのメンバーは他のプラットフォームと一緒にCitationchaserを使うようになったよ。

#Deduklick

Deduklickは、検索結果から重複した参考文献を特定して削除するためのAIツールなんだ。以前はKLSのスタッフがLeeds Methodという方法を使って手動で重複を削除してたんだけど、これが時間がかかって面倒だった。

Deduklickを評価するために、作業グループはこのツールとLeeds Methodを並行してテストした。4人のチームメンバーが、さまざまな文献検索で両方のシステムの結果を比較したところ、Deduklickは効果的に重複を削除できて、時間を節約できることがわかった。これをもとに、KLSは2023年4月にDeduklickを購入したんだ。

#スクリーニングプロセスにおけるAI

スクリーニングは証拠レビューの重要なステップなんだ。この段階で、研究者はタイトルや要約を評価して、どの研究が関連があるかを判断するんだ。AIツールがこのプロセスをスピードアップする手助けができるよ。

#タイトルと要約のスクリーニング

KLSは、タイトルと要約のスクリーニングを手伝うために設計された2つの商業AIツール、RayyanとEPPI-Reviewerをテストした。どちらのツールも、ユーザーの決定に基づいて関連する研究を特定するために機械学習を使ってる。

2023年にRayyanが最初にテストされた。証拠レビュー担当者が多くの参考文献をスクリーニングし、Rayyanの予測を使って研究に優先順位をつけた。結果として、Rayyanは関連する研究を素早く特定するのに効果的だとわかった。大抵の関連文献は、スクリーニングプロセスの早い段階で見つかったんだ。

その後、EPPI-Reviewerも評価された。これも関連研究をリストの上位に持ってくるのに効果的で、両方のツールが迅速なレビューに役立つことが示されたよ。

#フルテキストスクリーニング

タイトルと要約のスクリーニングの後は、研究が包含基準を満たしているかを確認するために、研究のフルテキストをレビューするステップがあるんだ。これは手間がかかる作業で、AIみたいなツールが負担を軽減するのに役立つんだ。

2023年に、KLSはフルテキストスクリーニングのためにClaude 2などの生成AIツールを探り始めた。目的は、これらのツールがフルテキストに包含基準を適用する精度を評価することだったんだ。初期のテスト結果では、Claude 2は包含と除外の決定をするのに良い精度を示したよ。

ただ、一つの大きな制限は、著作権のある資料をこれらのAIツールにアップロードできないことだ。この制約は、フルテキストスクリーニングでの実用性に影響を与えてるんだ。

#データ抽出

データ抽出は、証拠レビューに含まれる研究から特定の情報を集めることを含んでいるんだ。自動化されたツールはまだ広く利用できてないけど、KLSはAIがこのプロセスにどのように役立つかを探っているよ。

2023年にKLSはClaude 2をデータ抽出のためにテストした。プロセスでは、AIにさまざまなデータフィールドを研究から抽出させたよ。モデルは期待が持てたけど、人間の判断が必要なより主観的なフィールドでは苦戦してた。

その後、更新されたバージョン、Claude 3を使ったテストでは改善が見られた。全体的に、これらのAIツールはデータ抽出に役立つ可能性を示しているけど、正確性を保証するためには人間のレビューがまだ必要なんだ。

#AIの制限

AIツールには多くの有望な応用がある一方で、顕著な制限も存在するよ。AIツールは、研究の質を評価したり、潜在的なバイアスを特定したりするような、深い理解や批判的思考を必要とするタスクに苦しんでいるんだ。

AIモデルを使った非公式テストでは、包括的な評価に必要な深みが足りないことがわかった。ナラティブ合成を使ったテストでも、説得力のある結果は得られなかったみたい。

もう一つの大きな制限は、著作権やライセンスの問題。多くのレビュープロセスでは、AIツールがアクセスできないフルテキストを含むため、応用の可能性が制限されちゃうんだ。

#現在と未来の取り組み

KLS AI作業グループは、AI応用の探求からより戦略的なアプローチに移行してきたんだ。これには、組織に利益をもたらすAIの具体的な利用法を特定し、コスト、可用性、倫理的な懸念を考慮することが含まれてるよ。

証拠レビューに特化した別の作業グループも設立されて、組織内でのAI応用を特定するためにデータサイエンティストと連携して新しいデータ抽出モデルを開発しているんだ。

KLS AI作業グループは重要な知見を得たけど、時間の制約やAIの進展の速さに関する課題は残っているよ。それに、雇用の安全保障やAIツールへの信頼の懸念が広範な採用を妨げるかもしれない。

#結論

KLSは、その作業グループの設立以来、AIツールの理解と応用において重要な進展を遂げてきた。彼らの経験は、効率性や信頼性を高めるAIツールの導入につながったんだ。

AIは文献検索や証拠レビューを改善する大きな可能性を持っているけど、特にフルテキストスクリーニングやデータ抽出の面でやるべきことがまだ残ってるよ。

KLSはAI支援技術の探求と実装を続けながら、サービスの質と信頼性を守ることにコミットしているんだ。AIと人間の専門知識が組み合わさることで、公共の健康研究や証拠の統合においてより信頼性のある結果を得られると考えられてるんだ。