臨床アプリにおけるスペイン語NLPの進展

この調査は、スペイン語での臨床タスク向けに設計された言語モデルを調べるものです。臨床応用に焦点を当てた17のコーパスをレビューし、注目すべきスペイン語モデルを紹介します。3000以上のモデルがファインチューニングされ、その性能を比較しました。テストされたモデルとコーパスはすべて公開され、結果の独立した検証を可能にし、今後の進展を促進します。

電子健康記録（EHR）のデータ量が多いため、さまざまな研究機会が提供され、臨床実践が改善されます。臨床ノートのような非構造化データを構造化フォーマットに変換することで、データの質が向上し、効果的なクエリが可能になります。この構造化情報は、新しい診断ソリューション、患者の結果評価、リスク集団の特定など、さまざまな応用をサポートします。

EHRデータの処理には特定の課題があります。臨床的なナarrティブはしばしば急いで書かれ、さまざまなエラーや独自の専門用語を含むことがあります。これにより、一般的な言語と医療文脈内での言語使用の違いから、データの解釈が複雑になります。

#自然言語処理におけるスペイン語

スペイン語は何百万もの話者がいて、世界で4番目に広く話されている言語だけど、自然言語処理（NLP）において十分なリソースが不足しています。たとえば、スペイン語に比べて英語のモデルやコーパスはずっと多いです。この不足は、特に臨床分野でのスペイン語NLPのためのリソースがもっと必要だということを示しています。

スペイン語は高い屈折性を持っていて、多様な形態論と構文があり、臨床テキストを処理する際に追加の障害を生む可能性があります。英語からスペイン語への翻訳もバリエーションやアングリズムを導入し、臨床分野での用語や理解を複雑にします。

#研究の目的

この研究は、スペイン語の臨床テキストデータに利用可能なリソースをまとめ、モデルをベンチマークして性能ランクを確立することを目的としています。この目標を達成するために、いくつかのモデルの組み合わせをファインチューニングします。

#過去の研究

過去10年でNLPは急速に進展し、Word2vecのような基本的なモデルから、PaLMのような数十億のパラメータを持つ複雑なアーキテクチャに移行しました。これらの改善は、臨床テキストを処理するために不可欠なニューラルネットワークの効果的なトレーニングを可能にするハードウェアの向上から来ています。

#アノテーションなしのコーパス

コーパスはNLPにおいて重要で、ラベルなしで言語モデルの事前トレーニングを可能にします。しかし、EHRのような臨床データはプライバシーの懸念から公開されておらず、PubMedのようなバイオメディカルデータとは異なります。

#関連するスペイン語の臨床コーパス

いくつかのスペイン語の臨床コーパスは注目に値します：

1. スペイン臨床ケースコーパス（SPACCC）：SciELOからの臨床ケースのコレクションで、トークンを含み、公開されています。
2. ヨーロッパ臨床ケースコーパス（E3C）：さまざまな臨床ケースが含まれた多言語データセットです。
3. CANTEMIST：臨床テキストにおける腫瘍形態に焦点を当てたNERコーパスで、専門家によるアノテーションが行われています。
4. CARES：ICD-10コードを階層的に分類する放射線レポートコーパスです。
5. チリ待機リストコーパス（CWLC）：匿名化された紹介が含まれ、アノテーションされたエンティティがあります。
6. CodiEsp：幅広い臨床トピックにおけるマルチラベル分類に焦点を当てています。
7. CT-EBM-SP：PubMedとSciELOからの要約で構成されたNERコーパスで、モデルの一般化を促進します。

#スペイン語臨床コーパスの概要

いくつかの単語埋め込みが利用可能ですが、トランスフォーマーベースのモデルがより効果的であることが証明されています。BETOやMarIAのようなモデルは、スペイン語NLPで影響力のある結果をもたらす可能性を示しています。

1. BETO：BERTアーキテクチャを持つ最初のスペイン語モデルで、役立つベースラインとなっています。
2. MarIA：RoBERTaに基づいたこのモデルは、さまざまなタスクで素晴らしい性能結果を示しています。
3. RigoBERTa：以前のアーキテクチャを基にした別の有望なモデルです。

#公開ベンチマーク

この研究は、さまざまな評価指標を組み込んだ臨床スペイン語モデルの公開ベンチマークを提示します。ベンチマークに使用された最終モデルは、オープンサイエンス専用のプラットフォームでアクセス可能です。

#評価と結果

私たちの結果では、RigoBERTa 2がトップパフォーマーとして浮かび上がり、さまざまなコーパスで一貫して強い結果を提供しました。この結果は、効果的なモデルパフォーマンスのために高品質なトレーニングデータの重要性を強調しています。

#結論

質の高いスペイン語の臨床言語モデルにはかなりのギャップがあります。この調査は、この分野での追加のリソースとより良いモデルの必要性を強調しています。結果は、スペイン語NLP、特に臨床応用において大きな進展が求められていることを示しています。この研究は今後の改善のための基盤を築き、新しいスペイン語臨床言語モデルを評価するためのベンチマークを設定します。