健康結果に対する社会的要因の影響
アメリカで教育、人種、貧困が健康にどう影響するかを探ってる。
― 1 分で読む
目次
アメリカでは、教育、人種、貧困といった社会的要因が健康に大きな影響を与えてるんだ。研究によると、これらの要因は毎年多くの死に繋がってるって。2000年の研究では、約24万5000件の死が低教育レベルに関連してて、17万6000件が人種差別の経験に関係してた。他にも社会的サポートや経済的問題の不足が原因のものも多いんだ。これらの数字は主要な病気による死と同じくらいなんだよ。
健康の社会的決定要因(SDoH)は、人々が生まれ、生活し、働き、年を取る条件を指すんだ。これらの条件は健康の結果に不平等を生むことがあるよ。研究によれば、収入が低い人は早く亡くなる可能性が高くて、低教育の家庭の子供たちは不健康な環境に住むことが多いんだ。低教育は喫煙率が高くなったり、寿命が短くなることにも繋がってる。
最近の証拠では、健康を改善し、健康結果の公正を実現するためにはこれらの社会的要因に取り組む必要があるって。ここ10年で、アメリカの病院は患者データを大量に収集する電子健康記録(EHR)を使い始めたんだから。このデータは健康を理解し改善するためのさまざまな研究をサポートできるんだ。
便利だけど、ほとんどの研究はEHRにあるすべてのデータを利用してなくて、特に臨床ノートにある構造化されていないデータが不足してることが多い。人種や性別のような一部の社会的要因はEHRで構造化されて記録されてるけど、患者の生活や状況についての重要な詳細は医療提供者が書いた臨床ノートの中にあるんだ。これには経済状況や社会的ネットワークに関する豊かな情報が含まれているよ。
研究者たちは自然言語処理(NLP)技術を使って、これらの臨床ノートから社会的要因を引き出すことを始めたんだ。シンプルなルールベースの方法から、もっと複雑な深層学習技術まで、いろいろな方法があるんだけど、ほとんどの仕事は少数の社会的要因に焦点を当ててて、一つの医療機関の中で行われることが多くて、広い適用が制限されるんだ。
重要な質問は、どの社会的要因が十分に記録されてないかってこと。これは医療専門によって異なるかもしれないよ。例えば、社会的サポートや子供時代のトラウマの経験は、メンタルヘルスのケースではよりよく記録されるかもしれないけど、心臓病学などの他の分野ではそうじゃないかもしれない。これを理解するために、研究者たちは複数の病院やさまざまな種類の臨床ノートからデータを集めたんだ。
ドキュメンテーションの違いを理解する
臨床ノートにおける社会的要因のドキュメンテーションは、異なる医療システムや個々の提供者によって大きく異なることがある。こうした変動は、特定の社会的決定要因がどのように記録されるかに影響を与えることがあるんだ。研究者たちは、異なる状況のさまざまな種類のノートを研究して、特にあまり記載されない社会的要因のドキュメンテーションのギャップを特定しようとしてる。
例えば、メンタルヘルスの設定では、子供時代の経験や社会的サポートのような社会的要因が他の専門分野に比べて臨床ノートでより一般的かもしれない。だから、研究者たちはいくつかの機関でこれらの社会的要因が臨床ノートにどれくらい現れるかを調べ、これらの要因をもっと効果的に認識するモデルを開発できるかを見てるんだ。
研究者たちは四つの異なる病院のノートを見たんだ。入院患者と外来患者の両方の設定をカバーしたよ。彼らは、心理社会的評価やソーシャルワークのノートなど、さまざまな種類の臨床ノートを収集した。このデータ収集の第二ステップには、公開データベースのようなソースも含まれてた。
注釈付きデータセットの作成
研究を進めるために、研究者たちは注釈付きデータセットを作成した。これらのデータセットは、初期の分析中に気づいたパターンに基づいて、社会的要因を含むように慎重にラベリングされたんだ。各ノートはレビューされて、住環境、経済的問題、教育背景のような特定の社会的要因が強調された。
注釈プロセスでは、注釈者が社会的要因を正しく分類できるように、複数回のトレーニングが行われた。ラベリングに関する意見の不一致は、医師の専門家との議論や相談を通じて解決された。トレーニングの後、合計で四つのデータセットが作成され、それぞれがSDoHの詳細を示すさまざまな臨床ノートで構成されてた。
研究者たちは、特定の社会的要因が他の要因よりもはるかに少ない頻度で現れることに気づいたよ。例えば、教育レベルや経済的ストレスの問題はよく記録されていたけど、虐待やトラウマに関するものはあまり記録されてなかった。研究者たちは、医療環境における社会的決定要因の複雑さを正確に表現するために、データセットにはすべての要因を保持することを目指してたんだ。
SDoH抽出モデルの開発とテスト
それから研究者たちは、臨床ノートから社会的要因を抽出するための異なるモデルを実験してみたんだ。これには、伝統的な機械学習の方法や、新しい深層学習モデル、特に大規模言語モデル(LLM)が含まれてる。各モデルは、臨床ノート内の社会的決定要因を認識して分類する能力があるかどうかがテストされたんだ。
四つの異なる機械学習モデルが使われたよ:
- XGBoost:分類タスクに強力なモデルで、複雑なデータを扱うことができる。
- TextCNN:テキストデータを分析するために畳み込みニューラルネットワークを使用するモデル。
- Sentence-BERT:文の意味を捉え、効果的な分類タスクを可能にするモデル。
- LLaMA:コンテキストや言語を効果的に理解する能力で知られる大規模言語モデル。
各モデルは、臨床ノートの中の社会的要因を特定する際のパフォーマンスが評価されたんだ。精度、リコール、全体的な効果などの指標が見られたよ。
一般化可能性の重要性
研究者たちが特に注目したのは、モデルが異なるデータセットに適用されたときのパフォーマンスだったんだ。多くのモデルは、同じデータでトレーニングされ、テストされるといい結果を出すけど、実際のアプリケーションではさまざまなソースからのデータを使うことが多いんだ。これが、異なる医療環境へのモデルの一般化可能性についての疑問を引き起こすよ。
研究者たちはデータをトレーニングセットとテストセットに分けて、各モデルが一つのデータセットでトレーニングされ、別のデータセットでテストされたときのパフォーマンスを評価したんだ。彼らは、LLaMAモデルが異なるデータセット間での柔軟性とポータビリティにおいて一貫して他のモデルを上回ることを発見したよ。
モデルパフォーマンスからの洞察
評価を通じて、同じデータセット内ではモデルが比較的うまく機能するけど、データセット間で移動するとパフォーマンスが異なることが明らかになったんだ。特にLLaMAモデルは、さまざまな臨床ノートから貴重な社会的情報を抽出する際に、他のモデルよりも優れた結果を示したよ。
ただし、他のモデルは異なる設定でテストするとパフォーマンスが低下することが指摘された。これは、この分野でのさらなる研究と開発が必要であることを示してる。異なるドキュメンテーションスタイル、患者集団、医療環境の影響を理解することは、幅広く適用できるモデルを開発するために重要なんだ。
クラスの不均衡とパフォーマンスの変動に対処する
研究者たちが直面したもう一つの課題は、クラスの不均衡の問題だった。多くの実世界のデータセットでは、特定の社会的要因が十分に表現されていないことが多く、効果的なモデルのトレーニングに難しさをもたらすんだ。研究者たちは、分析のためにすべての文書化された社会的要因を保持することを選んで、モデルが不均衡なデータセットの分布でもどれほど高くパフォーマンスできるかを観察することができたよ。
複数のデータセットでモデルをトレーニングすることで改善が見られたんだ。いろんなデータソースを集めることで全体的なモデルパフォーマンスが向上することが分かった。異なる病院や臨床ノートタイプ間の社会的要因の分布の違いは、問題の複雑さを強調してる。
将来の考慮事項と潜在的な改善
研究者たちは結果に励まされつつも、まだやるべきことがたくさんあることを認識してる。モデルの一般化能力を向上させ、追加の社会的要因を特定することは、この研究の未来にとって必須なんだ。さらに、臨床ノートから微妙な情報を捉えるためのより良い注釈方法を開発することで、モデルの精度をさらに高めることができるかもしれない。
この発見は研究を超えた意味を持ってて、NLPや機械学習を使って、より良い治療計画や医療政策に繋がる健康データのギャップを埋める可能性を強調してる。社会的決定要因が健康結果に影響を与え続ける中、データ収集やモデルトレーニングの改善に向けた継続的な取り組みは、より健康的な社会を作るために重要なんだ。
結論
結論として、社会的要因はアメリカにおける健康結果に深い影響を与えてるんだ。これらの要因を探求し、文書化することで、研究者たちは健康の公平性を改善し、健康介入の全体的な成功を促進する道を開くことができる。特に大規模言語モデルのような高度なモデルの使用は、臨床ノートから有意義な社会的情報を抽出するための有望な道を提供して、最終的には健康格差を理解し対処することに繋がるんだ。
協力とさらなる調査を通じて、研究コミュニティは健康の社会的決定要因の理解を深め、健康記録における文書化の実践を改善することを目指してる。個々の健康に影響を与える社会的要因を認識し、対処する公平な医療システムを作るための洞察を活かすことを期待してるよ。
タイトル: Large Language Models for Social Determinants of Health Information Extraction from Clinical Notes - A Generalizable Approach across Institutions
概要: The consistent and persuasive evidence illustrating the influence of social determinants on health has prompted a growing realization throughout the health care sector that enhancing health and health equity will likely depend, at least to some extent, on addressing detrimental social determinants. However, detailed social determinants of health (SDoH) information is often buried within clinical narrative text in electronic health records (EHRs), necessitating natural language processing (NLP) methods to automatically extract these details. Most current NLP efforts for SDoH extraction have been limited, investigating on limited types of SDoH elements, deriving data from a single institution, focusing on specific patient cohorts or note types, with reduced focus on generalizability. This study aims to address these issues by creating cross-institutional corpora spanning different note types and healthcare systems, and developing and evaluating the generalizability of classification models, including novel large language models (LLMs), for detecting SDoH factors from diverse types of notes from four institutions: Harris County Psychiatric Center, University of Texas Physician Practice, Beth Israel Deaconess Medical Center, and Mayo Clinic. Four corpora of deidentified clinical notes were annotated with 21 SDoH factors at two levels: level 1 with SDoH factor types only and level 2 with SDoH factors along with associated values. Three traditional classification algorithms (XGBoost, TextCNN, Sentence BERT) and an instruction tuned LLM-based approach (LLaMA) were developed to identify multiple SDoH factors. Substantial variation was noted in SDoH documentation practices and label distributions based on patient cohorts, note types, and hospitals. The LLM achieved top performance with micro-averaged F1 scores over 0.9 on level 1 annotated corpora and an F1 over 0.84 on level 2 annotated corpora. While models performed well when trained and tested on individual datasets, cross-dataset generalization highlighted remaining obstacles. To foster collaboration, access to partial annotated corpora and models trained by merging all annotated datasets will be made available on the PhysioNet repository.
著者: Vipina K Keloth, S. Selek, Q. Chen, C. Gilman, S. Fu, Y. Dang, X. Chen, X. Hu, Y. Zhou, H. He, J. W. Fan, K. Wang, C. Brandt, C. Tao, H. Liu, H. Xu
最終更新: 2024-05-22 00:00:00
言語: English
ソースURL: https://www.medrxiv.org/content/10.1101/2024.05.21.24307726
ソースPDF: https://www.medrxiv.org/content/10.1101/2024.05.21.24307726.full.pdf
ライセンス: https://creativecommons.org/licenses/by-nc/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた medrxiv に感謝します。