詩における音とテキストのつながり
書かれた詩と音声朗読を結びつけたユニークなデータセット。
― 0 分で読む
詩は世界中の文化にとって大事な部分だよ。何世代にもわたって知識や経験を共有するために使われてきたんだ。詩は幼児向けの歌から伝統的な言い回しまで、幅広く変化することがある。これらの作品を分析するのは複雑で、特に詩の音が書かれたテキストとどう関係しているのかを見るときはなおさらだね。
それを実現するために、テキストと音声記録をつなげた詩のコレクションを作ったよ。このコレクションは著名な詩人に焦点を当てているんだ。各行のテキストと対応する音を合わせてるし、詩がどんな風に読まれるか、リズムやアクセントパターンに関する詳細も含めてる。私たちの目標は、詩におけるテキストと音の関係を研究したい研究者にリソースを提供すること。
スキャンションの重要性
詩を見るとき、リズムや音を考えることが多いよね。それがスキャンションというプロセスに導くんだ。スキャンションは、特定のパターンをマークし、韻を分析することで詩のリズムを分解するのに役立つ。詩の行を「フィート」と呼ばれる小さな部分に分けるんだ。
たとえば、詩を声に出して読むとき、強いリズミカルなビートが聞こえるよね。このビートは、詩を解釈する手助けになる。リズムを分析することで、音のパターンが作品全体の意味や感情にどう影響するかを見ることができるんだ。
コーパスの作成
私たちのプロジェクトの目標は、テキストと音声の両方を含む詩のデータセットを作ること。広く研究されている2人の有名な詩人の詩を選んだよ。私たちが作ったコレクションは、約12.5時間の読み取り時間とほぼ10万語を含んでいるんだ。
データセットでは、テキストを行、単語、音節、音に分けて、すべてを音声セグメントと一致させている。詩ごとにスキャンションも実施してリズムを分析したよ。このスキャンションプロセスは、正確さを確保するために最新の技術アプローチを使ってる。
関連する作業と以前の研究
いくつかのプロジェクトが、音と書かれたテキストを通して詩を分析することに焦点を当てているんだ。いくつかは自由詩におけるリズムパターンを探したり、ソネットの読み方を探求したりしてる。私たちのプロジェクトは似てるけど、特定の詩人とより伝統的なリズムに焦点を当てた小規模なものだよ。
研究者用の詩のデータセットはたくさんある。いくつかの例としては、異なる言語やスタイルのコレクションがある。これらのデータセットは、文化や時代を超えて詩を理解するのに役立つんだ。
処理ステップ
コーパスを作るために、慎重なプロセスを踏んだよ。まず、関連する情報だけを残すようにテキストを清掃した。その後、音声と書かれたテキストを合わせた。この整合は重要で、聞こえるものと読まれるものを結びつけるんだ。
各テキストの部分を音声と正確に一致させることが大事だね。長い録音があるから、まずは行を合わせてから、単語や文の整合に進むんだ。整合を行うためにアルゴリズムを使って、各行がその音声セグメントと正しくマッチするようにしてる。
次に、書かれた単語を音に変換するんだけど、辞書を使って単語とその音声表現を一致させることが多いよ。これにより、各単語を基本的な音に分解できるし、さらに音節や音素レベルで分析できるんだ。
このプロセスの重要な部分の一つは、音節のタイミングを測ることで、音が詩のリズムにどうつながるかを見る手助けをするんだ。テキストのリズムを分析するために、ルールベースのシステムと機械学習モデルの両方を使ってる。
データのコーディング
データセットを整理するために、特定のコーディングガイドラインに従ってるんだ。これには、データをアクセスしやすく、分析しやすい形に構造化することが含まれる。各詩は、行、単語、音、リズムを表示するようにフォーマットされてる。
詩の各行について、音声録音の中でその行が始まる時間と終わる時間の詳細も含めてる。この詳細なレベルのおかげで、研究者はテキストだけでなく、どのように演じられているのかも見ることができるんだ。この情報は、リズムや音など、詩のさまざまな側面が書かれた言葉とどうインタラクトするかについての洞察を提供することができるよ。
データの分析
データセットが構築されたら、集めたデータを分析して意味のある洞察を得るんだ。これには、単語や音節の平均持続時間を見て、行や詩の全体の長さとの関係を理解することが含まれるよ。
音節カウントに使われる異なるモデルの精度を評価したり、単語の長さと声に出して言うのにかかる時間との関係を探ったりするんだ。この分析で、テキスト構造と話されたパフォーマンスとのつながりを示す興味深いパターンが明らかになるよ。
コーパスの可視化
データセットを利用しやすくするために、ウェブサイトを作ったんだ。このプラットフォームでは、ユーザーが詩と対話したり、さまざまな機能を探ったりできるよ。ユーザーは詩人と特定の詩を選んで、テキストとそのスキャンションを同時に見ることができるんだ。
ユーザーが音声を聞きながらテキストに沿って進むことで、興味深い体験ができるよ。今のバージョンは行とそのリズムに焦点を当ててるけど、将来的にはもっと詳細な音の情報も含められたらいいなと思ってる。
将来の研究機会
私たちが行った作業は、将来の研究のための多くの可能性を開いてるんだ。このデータセットを使って、研究者は詩のストレスが話される言葉の中でどのように表現されるかを調べることができるよ。言葉の感情やセンチメントが、どのように言われるかにどう影響するかを研究する可能性もあるね。
たとえば、もっと多様な詩人やスタイルを含めれば、さまざまなリズムがどのように朗読されるのかを比較できる。これにより、異なる詩的構造が似たような話し方のパターンにつながるかどうか理解するのに役立つだろうね。
さらに、詩の朗読のビデオなどの視覚要素を取り入れることで、分析に深みが加わるかもしれない。これにより、音と視覚を通して詩がどのように体験されるかをより包括的に研究できるだろう。
結論
私たちは、テキストと音声リーディングをつなげ、リズム分析を強化したユニークな詩のコレクションを作ったんだ。このデータセットは、音と意味が詩の中でどのように働き合うかを見つめる新しい方法を提供してる。
コーパスの開発を続けていく中で、より幅広い詩人や詩を含めることを目指してる。この作業を通じて、詩とそのパフォーマンスの理解を深められると思う。文学、言語学、音響学などのさまざまな分野を結びつけ、美しい詩の新たな洞察を提供する可能性があるんだ。
タイトル: Creating an Aligned Corpus of Sound and Text: The Multimodal Corpus of Shakespeare and Milton
概要: In this work we present a corpus of poems by William Shakespeare and John Milton that have been enriched with readings from the public domain. We have aligned all the lines with their respective audio segments, at the line, word, syllable and phone level, and we have included their scansion. We make a basic visualization platform for these poems and we conclude by conjecturing possible future directions.
最終更新: 2024-07-26 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2407.18730
ソースPDF: https://arxiv.org/pdf/2407.18730
ライセンス: https://creativecommons.org/licenses/by-nc-sa/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://en.wikipedia.org/wiki/Aryabhatiya
- https://github.com/aparrish/gutenberg-poetry-corpus
- https://github.com/manexagirrezabal/shakespeare_milton_multimodal
- https://creativecommons.org/licenses/by/4.0/
- https://en.wikipedia.org/wiki/Sonic_Visualiser
- https://github.com/waynegraham/for_better_for_verse
- https://github.com/bncolorado/CorpusSonetosSigloDeOro
- https://proyectoremetca.weebly.com/
- https://www.versologie.cz/en/kcv.html
- https://www.gutenberg.org/ebooks/1041
- https://www.gutenberg.org/ebooks/26
- https://librivox.org/shakespeares-sonnets/
- https://librivox.org/paradise-lost-by-john-milton-2/
- https://github.com/readbeyond/aeneas
- https://github.com/Kyubyong/g2p
- https://github.com/glample/tagger