病院入院のための予測モデルの比較
この研究では、患者トリアージのためのシンプルなモデルと比較してBio-Clinical-BERTを評価している。
― 1 分で読む
目次
緊急医療部門(ED)では、患者のトリアージプロセスが誰が即時のケアを必要としているかを判断するために重要なんだ。このプロセスは患者の結果やケアの提供の効率に大きく関わってる。急を要する入院が必要な患者を素早く特定できるかどうかは、生死に関わる問題になることもあるんだ。看護師のトリアージノートはこのプロセスにおいて重要で、病院に到着したときの各患者の状態に関する詳細な情報が含まれているよ。
機械学習の進展により、医療専門家が患者を分類し、意思決定を行う方法を改善する新しいオプションが出てきた。看護師のトリアージノートを効率的に分析できる高度な技術が開発されているんだ。この分野で注目されているモデルの一つはBERTというもので、従来の方法よりも言語をより効果的に処理できるように設計されているよ。
BERTは、独自の設計のおかげで単語の文脈をよりよく理解できるんだ。時間が経つにつれて、医学のような特定の分野向けにより専門的なバージョンのBERTが作られ、その一つがBio-Clinical-BERTという名前だ。この論文では、Bio-Clinical-BERTが単純なBag of Words(BOW)とロジスティック回帰(LR)、Tf-Idfを組み合わせた方法と比べて、患者が入院するかどうかをどれだけ予測できるかを探るよ。
研究目的
この研究の目的は、看護師のトリアージノートを使って入院予測を行う際に、Bio-Clinical-BERTと単純なBOW LRモデルのどちらが優れているかを比較することだ。Bio-Clinical-BERTはより正確な予測を提供できるかもしれないけど、リソースを多く使い、運用するためには専門的なスキルが必要だ。その点、単純な方法は実装が簡単で、コンピュータのパワーも少なくて済むんだ。
私たちは、Bio-Clinical-BERTがより良い結果を出すかもしれないけど、必要な追加の努力やリソース、知識が、単純な方法に比べてそれだけの価値があるかは疑問だと考えている。これを検証するために、私たちは大規模な医療システムからの100万件以上の看護師のトリアージノートを調べたよ。
データソース
私たちの分析のために、ニューヨーク市のマウントサイナイ健康システムからデータを集めた。2017年から2022年の5年間にわたって5つの異なる病院のEDの記録を使用した。このデータセットには、さまざまな背景を持つ患者が含まれているよ。
私たちの研究に参加している5つの病院は、ニューヨーク市内の異なるコミュニティにそれぞれサービスを提供している。マウントサイナイ病院、マウントサイナイモーニングサイド、マウントサイナイウエスト、マウントサイナイブルックリン、マウントサイナイクイーンズが含まれている。データはEpic電子健康記録ソフトウェアを使用して集めて、健康データを効率的に管理・分析したよ。
モデル開発
私たちは、4つの病院からのデータを使ってモデルを開発し、テストした。マウントサイナイクイーンズからは異なるデータセットを用意して外部テストを行い、私たちの結果がより広い人口に適用されることを確認したんだ。
トレーニングプロセスには5分割交差検証を用いて、データを5つの部分に分けてモデルの検証を行った。異なるサイズのトレーニングセットでトレーニングし、データが増えることでパフォーマンスがどう変化するかを見たよ。試した主なモデルはBio-Clinical-BERTと、Tf-Idf特徴を持つBOWロジスティック回帰だった。
Bio-Clinical-BERTについては、テキスト処理と準備に関する特定のガイドラインに従った。同様に、単純な方法でも確立された方法を使ってテキストデータを扱ったんだ。
研究対象人口
この研究の対象は、18歳以上の成人で、指定された5年間にEDを訪れた患者だ。
アウトカム定義
主要なアウトカムは、電子健康記録と看護師のトリアージノートから得られるデータを基に、私たちのモデルがどれだけ効果的に患者の入院を予測できるかを判断することだった。
モデル評価
モデルを評価するために、いくつかのパフォーマンス指標を使った。これには、予測の正確性、真陽性に対するモデルの感度、ネガティブを正しく特定する能力などが含まれるよ。
倫理的考慮
この研究は回顧的なもので、倫理審査委員会の承認を得た。過去のデータを使用し、患者が直接関与していないため、個々の患者から同意を取得する必要はなかった。
統計分析
分析はPythonソフトウェアを使って行った。モデルの効果を測るために、さまざまな指標や統計結果を報告した。入院に関連する重要な単語を計算し、標準テストを使用してモデルのパフォーマンスを比較したよ。
技術的枠組み
この研究の技術的作業は、ローカルインフラとクラウドリソースを組み合わせた制御された環境で行われた。BOW方法とBio-Clinical-BERTモデルでは異なるセットアップを使用し、後者はより強力なクラウドコンピューティングリソースを必要としたんだ。
患者データ
マウントサイナイ健康システムから合計1,745,199人の患者が含まれた。18歳未満の患者を除外した後、1,391,988人の参加者のデータを分析したよ。
モデルパフォーマンス
Bio-Clinical-BERTとBOW LRモデルの両方をトレーニングした後、テスト用に保持したデータを使ってパフォーマンスを評価した。結果は、Bio-Clinical-BERTが一般的に単純なモデルよりも予測精度が高いことを示し、入院患者をより効果的に特定できることが分かったんだ。
ただ、両モデルのパフォーマンスの違いは、単純な方法の実用性を無視するほどのものではなかった。リソースが限られている組織にとっては、単純なモデルの方が使いやすく、コスト効率も良いかもしれないね。
アウトカムについての議論
この研究では、看護師のトリアージノートに基づいて入院を予測するための2つの予測モデルを比較した。私たちの結果は、Bio-Clinical-BERTがわずかに優れているものの、リソースが限られた病院では単純なモデルも合理的な代替手段になる可能性があることを示唆しているよ。
以前の研究では、BERTのようなモデルはロジスティック回帰のような単純な方法よりも若干良いパフォーマンスを発揮することが示されている。しかし、Bio-Clinical-BERTの計算リソースの要求を考慮すると、すべての医療環境にとって最適とは限らないね。
医療への影響
入院を効果的に予測できることは、患者ケアを大いに改善できる。これにより、病院内でのリソース管理や患者の流れが良くなるかもしれない。複雑なモデルと単純なモデルのどちらを選ぶかを決定する際、医療組織は利用可能な技術やスタッフの専門知識など、特定の状況を考慮すべきだよ。
制限事項
この研究にはいくつかの制限がある。データセットはマウントサイナイ健康システムに特化していて、他の医療システムを反映していないかもしれない。また、より広範な一般化を図るためには、多様なデータセットを用いたさらなる研究が必要だ。加えて、両方の方法を組み合わせることで全体のパフォーマンスが向上するかを調べてはいないんだ。
今後の研究
今後の研究では、特定の医療設定に合わせて調整された事前トレーニング済みモデルの使用を検討することができるかもしれない。これには多くのリソースが必要になるかもしれないけど、特定の医療環境のユニークな言語や文脈に合わせたより良いパフォーマンスにつながるかもしれないよ。
結論
まとめると、私たちの研究は、Bio-Clinical-BERTが入院予測においてわずかにより良い結果を出すかもしれないが、単純なBOW LRモデルはリソースが少ない組織にとっては依然として強力な選択肢であることを示している。看護師のトリアージノートに基づく予測能力を向上させるためのさまざまな方法を探求し続ける必要があるね、そうすれば全体的に患者ケアと医療管理が改善されるはずだ。
タイトル: Comparative Analysis of a Large Language Model and Machine Learning Method for Prediction of Hospitalization from Nurse Triage Notes: Implications for Machine Learning-based Resource Management
概要: Predicting hospitalization from nurse triage notes has significant implications in health informatics. To this end, we compared the performance of the deep-learning transformer-based model, bio-clinical-BERT, with a bag-of-words logistic regression model incorporating term frequency-inverse document frequency (BOW-LR-tf-idf). A retrospective analysis was conducted using data from 1,391,988 Emergency Department patients at the Mount Sinai Health System spanning 2017-2022. The models were trained on four hospitals data and externally validated on a fifth. Bio-clinical-BERT achieved higher AUCs (0.82, 0.84, and 0.85) compared to BOW-LR-tf-idf (0.81, 0.83, and 0.84) across training sets of 10,000, 100,000, and [~]1,000,000 patients respectively. Notably, both models proved effective at utilizing triage notes for prediction, despite the modest performance gap. Importantly, our findings suggest that simpler machine learning models like BOW-LR-tf-idf could serve adequately in resource-limited settings. Given the potential implications for patient care and hospital resource management, further exploration of alternative models and techniques is warranted to enhance predictive performance in this critical domain.
著者: Dhavalkumar Patel, P. Timsina, L. Gorenstein, B. S. Glicksberg, G. Raut, S. Cheetirala, F. Santana, J. Tamegue, A. Kia, E. zimlichman, M. Levin, R. Freeman, E. Klang
最終更新: 2023-08-10 00:00:00
言語: English
ソースURL: https://www.medrxiv.org/content/10.1101/2023.08.07.23293699
ソースPDF: https://www.medrxiv.org/content/10.1101/2023.08.07.23293699.full.pdf
ライセンス: https://creativecommons.org/licenses/by-nc/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた medrxiv に感謝します。