LLMの音楽的推論スキルを評価する

大規模言語モデル（LLM）が、アートや音楽などの創造的なタスクでの利用が増えてきてるけど、論理的思考やカウントが必要な特定の推論タスクでは苦戦することもある。この記事では、LLMが音楽のタスクをどれだけ理解し、推論できるかを調べてる。具体的には、インターバルから音符を特定したり、コードやスケールを認識したりする能力をテストした。GPT-3.5とGPT-4oの2つのモデルを使って、これらのタスクでのパフォーマンスを見てみた。

結果は、これらのモデルが音符のインターバルをかなりよく特定できる一方で、コードやスケールを認識するようなより複雑なタスクには課題があることを示してる。これによって、現在のLLMの能力には明らかな限界があり、改善が必要な領域が示された。このギャップを解消することで、創造的な分野や他の複雑な領域でのLLMの機能を向上させることができるかもしれない。さらに、研究はこれらのタスクを評価するための生成されたベンチマークデータセットも提供してる。

生成AI、特にLLMは、テキスト以外のさまざまなアプリケーションでの利用が増えてきてる。画像を生成したり、テキストを作成したり、音楽を作ったりすることが含まれる。クロスモーダル研究への関心が高まっていて、生成モデルが音楽を含むさまざまな領域でどのように適用できるかを調べてる。SunoやUdioのようなツールは音楽のルールをある程度理解してることを示していて、広範な音楽関連の文献で訓練されたLLMもこれらの概念を把握できるかどうかが問われてる。

西洋音楽には、作曲や分析に必要なリズムやハーモニーなどの構造化されたシステムがある。この構造的な性質が課題をもたらす。LLMは本当に西洋音楽のハーモニーのルールを理解しているのか、それとも訓練データに見られるパターンをただ再現しているだけなのか？この問いは、LLMが学んだ事実を活用して新しい課題に取り組むことができるかどうかの広範な調査と関連している。

「音楽推論」という概念が紹介されていて、これは作品中に明示的にラベリングされていないさまざまなハーモニー、キー、リズム、その他の音楽的側面を推定する能力として定義されてる。証拠は、より大きなモデルがより深い理解と推論を必要とするタスクでより良く機能する能力を発展させる可能性があることを示唆してる。この研究は、音楽のハーモニーに関するこれらの能力を調査することを目的としてる。

研究は二つの主要な実験に分かれていて、一つは音楽の音符にインターバルを適用することに焦点を当て、もう一つはコードとスケールの認識に関するものだ。どちらのタスクも、音楽の要素を理解し、その知識を特定の問題に適用することを必要とする。

研究のアウトラインはいくつかのセクションに分かれている。次のセクションでは、LLMと音楽における推論に関する先行研究を議論する。インターバルとコード/スケールタスクのためのテスト問題を生成する方法論が次に紹介される。それから結果が提示され、詳細に結果を議論し、今後の研究のための提案が行われる。

#関連研究

LLMに推論能力を統合することは、人工知能の重要な研究領域であり、モデルが複雑なタスクを理解し解決する能力を向上させることに焦点を当てている。さまざまな研究が、推論タスクにおけるLLMの能力を押し広げるための異なる方法を採用している。

いくつかの研究では、LLMが推論のステップを明確に表現できるようにするためのチェイン・オブ・ソートプロンプティングのような高度なプロンプト技術が詳述されている。このアプローチは、解釈可能性と信頼性を向上させることを目指している。数学的タスクでは、LLMは定理の証明や幾何学の問題解決のような数値計算や深い論理的処理を要する複雑な問題に直面する。パズル解決に関する研究は、LLMが学んだ知識を創造的かつ論理的に適用する可能性を強調する。

注目すべき進展があるものの、LLMと人間のような推論の間には依然として大きなギャップがある。このギャップを埋めるための努力は、トレーニング手法の洗練、よりリッチなデータセットの作成、より複雑なモデルアーキテクチャの開発に焦点を当てている。これらの努力は、モデルが微妙な理解や多段階の論理的推論を扱う能力を向上させることを目指している。

音楽の中では、LLMが音楽生成や理論において推論し、創造する可能性が調査されている。研究は、LLMが複雑な音楽構造や感情的な合図を理解することで音楽を生成できるかどうかを調べており、より深く音楽に関与できることを示している。ChatMusicianのようなプロジェクトは、モデルが音楽理論をどれだけ適用でき、音楽的な問い合わせに創造的に応答できるかをさらにテストしている。

#方法論

このセクションでは、実験デザインについて説明する。すべての生成された質問はGPT-4oモデルでテストされた。インターバルの実験では、比較のためにGPT-3.5も含まれた。各実験はモデルのランダム性を考慮して3回実施された。

#インターバル問題

音楽のインターバルを処理するLLMの能力を評価するために、研究者はmusic21 Pythonライブラリを使用して一連の問題を作成した。質問は「<音符>から<インターバル>は何ですか？上または下」といったプロンプトに基づいてインターバルを決定する能力に挑戦するように設計されたが、インターバルはオクターブを超えないことに制限されている。

タスクの複雑さを増すために、さまざまな構成が導入された。最初のバリアントは教科書で見たことがあるかもしれないため、LLMにとっては簡単であると仮定された。さまざまな音楽シナリオにおけるLLMの能力を評価するために、各構成について500の質問のデータセットが編纂された。テストの前に、LLMには音楽のインターバルに関する質問が来ることを伝え、一貫性のためにテーブル形式で回答を整えるよう指示された。

#コードとスケール問題

コードとスケールのタスクでは、LLMがさまざまな種類のコードやスケールをどれだけよく特定し、名前を付けられるかに焦点を当てた。music21 Pythonライブラリを使用して、さまざまな音楽的問題を生成するために、コードとスケールがランダムに作成された。

評価は2つの主要な実験に分かれた。最初に、特定の種類のコードやスケールがLLMに提供された。モデルが後のタスクでこの情報をよく忘れたり無視したりすることが観察された。2回目の実験では、種類が明かされず、タスクが難しくなり、LLMは自らのトレーニングと理解に依存する必要があった。

コードとスケールの両方について4つの構成がテストされた。

#インターバル結果

上向きのインターバルから始まり、タスクの難易度が上がるインターバル実験の結果は、すべてのテストされた構成がLLMのパフォーマンスに影響を及ぼし、インターバルの方向が最も影響を与えることを示している。これは、モデルの上向きから下向きのインターバル計算への一般化能力に課題があることを示唆している。

より高度なモデルであるGPT-4oはより良いパフォーマンスを示し、モデルのサイズやトレーニングデータの質が結果に影響を与えることを示している。しかし、この改善が真の推論を示すのか、それとも単により多くのデータに触れた結果なのか疑問を呼ぶ。たとえば、GPT-4oは単純な上向きインターバルでほぼ100%の正確性を達成したが、下向きの動きやさまざまなシャープやフラットを含む複雑な構成では50%未満に落ち込んだ。

これらの結果は、文献中の他の発見を反映しており、LLMがトレーニングで見たパターンを記憶できる一方で、論理的推論能力は限られていることを示している。この区別は、より複雑なタスクにおいて明らかであり、LLMが単純なリコールを超えた問題を解決するために強固な論理的枠組みを適用するのに苦労していることを示している。

#コードとスケール結果

LLMを使用してコードとスケールを調べる際、実験はモデルが知識を想起し、適用する能力を評価するように設計された。このより困難なタスクでは、GPT-4oのみがテストされた。

コードの種類を知らされたとき、LLMは基本的なバージョンを正確に認識した。しかし、事前情報がないと、しばしば奇妙な回答を生成した。エンハーモニックな音符の存在が正確性を大幅に低下させることを示し、モデルはこれらのバリエーションを知っているものの、トレーニング素材ではあまり一般的でないため、モデルにとっては難しくなっている。

驚くことに、モデルはインバージョンについては比較的良いパフォーマンスを示したが、結果は基本的なコード認識タスクよりも低かった。最も複雑なシナリオでは、モデルのパフォーマンスは大幅に低下し、可能なコードの種類に関する事前情報がないと約15%の正確性しか達成できなかった。モデルは以前に名付けた型を忘れる傾向があり、短期記憶の限界を示している。

スケール識別タスクでも同様の難しさが観察された。モデルは構造を推論しようとすることがあったが、半音と全音を混同したり、エンハーモニック等価物を誤って識別したりするというミスを犯した。スケールに関する情報が多くあったにもかかわらず、さらに混乱しているように見えた。たとえ簡単なタスクであっても、7音のスケールを識別する際に、ペンタトニックスケールと名付けるような誤った回答を引き起こし、スケール構造の理解不足を示している。

#結論

この研究は、GPT-3.5やGPT-4oのようなLLMが音楽のタスクを理解する能力を調査し、インターバル、コード、およびスケールを特定することに焦点を当てている。結果は、LLMが音符のインターバルのような簡単なタスクを処理できる一方で、コードやスケールの認識を含むより複雑なタスクではパフォーマンスが著しく低下することを示唆している。

実験は、インターバルの方向、オクターブ制限、アクセントの変化など、タスクの構成によってLLMが影響を受けることを示し、LLMがトレーニング中に見たパターンに大きく依存していることを示唆している。より高度なモデルであるGPT-4oはGPT-3.5よりもいくぶん改善を示したが、モデルのサイズやトレーニングデータの質がパフォーマンスに影響を与えることを示している。しかし、この改善の性質は、モデルがタスクを真に推論しているのか、単に膨大なデータセットからリコールしているのかという疑問を呼ぶ。

コードとスケールのタスクでは、明示的な事前情報がないとLLMがしばしば常軌を逸したり不正確な回答を生成することが示されている。モデルが直接的なプロンプトでより良いパフォーマンスを発揮した場合でも、エンハーモニック音符の交換や異なるインバージョンのようにわずかに変更されたシナリオに知識を適用するのに苦労していることが頻繁に見られた。これらの結果は、適応的推論やより深い理解を必要とするタスクにおける現在のLLMの限界を強調している。

今後の研究は、リズムや非西洋音楽など、音楽領域の推論の他の側面を探ることができるかもしれない。より高度なモデルが改善された推論能力を示す可能性があることも示唆されており、さらなる研究のための有望な分野となっている。