医療AIにおけるプロンプトエンジニアリング：GPT-3.5からの洞察

プロンプトエンジニアリングは、大規模言語モデル（LLM）、例えばChatGPTとの作業を改善するための成長中の方法だよ。これらのモデルは医学を含む多くの分野で重要になってきた。ただ、プロンプトエンジニアリングが医学的な状況で具体的にどう役立つかについては、まだ学ぶことが多い。

最近の研究によると、ChatGPT（GPT-3.5）はアメリカの医療専門家向けのテストであるUSMLE試験で約60%の成績を出したんだ。対照的に、新しいバージョンであるGPT-4は約87%を記録した。面白いことに、「チェインオブソーツ（CoT）」という特定のテクニックは、段階的に考えることを促すんだけど、USMLEテストでのGPT-4のパフォーマンスには大きな助けにはならなかったみたい。これは、試験自体が複雑な数学的推論を必要としていないからかもしれないね。

医療以外では、プロンプトエンジニアリングはさまざまなタスクで良い結果を示していて、計算を要するタスクに関しても医療応用が期待できそうだ。

でも、そのポテンシャルにもかかわらず、医療タスクに対するプロンプトエンジニアリングに焦点を当てた研究はあまりない。その理解のギャップは、医療問題を解決するための異なるプロンプティング方法の効果についての多くの未解決の質問につながっている。

#研究の目的

この研究では、GPT-3.5がUSMLE Step 1試験に似た計算問題と非計算問題にどれだけうまく対処できるかをテストして、そのギャップを埋めることを目指したよ。直接的なプロンプト、CoTテクニック、修正されたCoTアプローチの3つの異なるプロンプティング戦略を見たんだ。研究用の質問はGPT-4によって作成されていて、USMLE Step 1の実際の質問からサンプルを使って良い比較ができるようにしてる。

主な目標は、異なるプロンプト技術を使うことで、計算関連の医療問題と一般的な臨床質問に対するChatGPTの能力が向上するかどうかを確認することだった。

#研究デザイン

OpenAIの言語モデル、ChatGPT（GPT-3.5-turbo）を使って、選択式問題（MCQs）をテストしたよ。プロンプトは3種類比べたんだ：直接的なプロンプト、CoT、修正されたCoT。USMLE Step 1の質問のサンプルから始めて、画像が必要なものを除いた後に95問を残した。さらに、GPT-4によって生成された質問セットを2つ含めた-1つは計算に焦点を当て、もう1つは臨床シナリオに焦点を当てたもの。

#質問を生成する

GPT-4を使って、1000の医療スタイルの質問を作成したよ。500が計算に、500が非計算に焦点を当ててる。非計算の質問には、症状に基づいた診断、治療の選択、検査結果の解釈などが含まれてた。計算問題は、薬の投与量計算や統計分析などのタスクに関連するものだった。

それぞれの質問には、簡単、中程度、難しいの難易度評価が付けられて、内科や外科など19の異なる臨床分野をカバーしてる。

#質問をする - 異なるプロンプトを使って

GPT-3.5をテストするために、3つのプロンプティング戦略を使用した。直接的なプロンプトは、単に質問に答えるように頼んだ。CoTプロンプトは、問題を段階的に考えるように促した。修正されたCoTプロンプトは、モデルに質問を注意深く読むように、分解して解決戦略を考え、各ステップを確認し、明確にその理由を共有するように促した。

すべてのプロンプトは通常のセットアップでOpenAI APIを通じて提出され、標準の温度と最大トークン長を使用したよ。

#パフォーマンスの評価

GPT-3.5がどれだけ正確に質問に答えたかを測定した。さまざまな種類の質問に対してこの評価を行い、USMLE Step 1の質問と比較したんだ。

分析の中では、USMLE Step 1の質問、GPT-4によって生成された臨床質問、計算に焦点を当てた質問の間で、三つのプロンプティング方法（直接的プロンプト、CoT、修正CoT）のパフォーマンスの違いを調べた。

#研究の結果

結果は、すべての質問タイプでプロンプティング戦略がどれだけ効果的かに大きな違いはないことを示していた。計算問題、臨床問題、USMLEサンプルのいずれについても、すべての3つのプロンプト方法のパフォーマンスはかなり似ていた。

異なる難易度の計算問題を見たとき、成功率は近かった：直接プロンプト（64.2%）、CoT（63.1%）、修正CoT（61.9%）。臨床問題の場合、どのプロンプティング戦略も特に際立っておらず、症状に基づく診断の成功率はすべての戦略でほぼ同じだった。

全体的に、分析は異なるプロンプティング戦略の成功率にわずかな違いがあったとしても、お互いに有意な利点はなかったことを示唆していた。

#医療分野による観察

GPT-3.5のさまざまな医療専門分野でのパフォーマンスを調べたところ、すべての戦略で成功率は似ていた。ただし、皮膚科が最も高い成功率を持ち、麻酔科が最も低い得点だった。

#主な発見

私たちの研究は、医療問題解決におけるプロンプトエンジニアリングについて面白いポイントを明らかにした。直接、チェインオブソーツ、修正チェインオブソーツの3つのプロンプティング方法をテストした。もっと顕著な結果を期待したにもかかわらず、パフォーマンスにおいてこれらの方法のいずれも他の方法よりも優れていることはなかった。

すべての戦略が医療関連の質問に対して高い正解率を達成できた。ChatGPTに焦点を当てたのは、GPT-4よりも利用可能性が高く、手頃だからだ。

私たちの結果は、医療応用におけるプロンプトエンジニアリングの複雑さを浮き彫りにしている。使用した戦略の結果が似ているにもかかわらず、さまざまなアプローチが存在することを忘れないようにしないとね。他の技術を探求しなかったことで、パフォーマンス改善の手がかりを見逃したかもしれない。

ChatGPTがどのようにトレーニングされたかの詳細は不明だけど、私たちが探求したプロンプト戦略の原則がすでにChatGPTの動作に組み込まれている可能性があるかもしれない。これが、私たちの特定の戦略が有意に異なる結果を導かなかった理由を説明しているかもしれない。

ChatGPTのようなモデルの能力が向上していることは、近い将来医療分野で重要な役割を果たす可能性があることを示唆してる。だからこそ、これらのモデルを調査し、彼らの知識を医療教育に組み込むことが重要だ。私たちの研究は、シンプルなプロンプト方法がより複雑な戦略と同様の結果を達成できる希望を与えていて、医療従事者が高度なプロンプトエンジニアリングのスキルを必要とせずにこれらのツールを利用できるようにするんだ。

#研究の限界

私たちの発見は有益だけど、いくつかの限界もあるよ。まず、私たちの研究はUSMLEスタイルの質問に基づいていて、他のタイプの問題には適用できないかもしれない。次に、私たちはChatGPTにのみ焦点を当てていて、他のモデルはこれらのプロンプティング戦略に対して異なる反応を示す可能性がある。第三に、プロンプト戦略がどのように実施されたかの変動を考慮しなかったため、結果に影響を与えたかもしれない。また、質問を「計算」と「非計算」に厳密に分類することで、多くの医療質問のより複雑な性質を見逃したかもしれない。

#結論

結論として、プロンプトエンジニアリングはデータセットを生成する可能性を提供するけど、GPT-4によって作成されたようなものでも、私たちの研究はChatGPTが計算や臨床の医療質問に答える能力を必ずしも改善するわけではないことを示している。この発見は、ChatGPTがすでにそのようなタスクに備えが整っていることを示唆してる。