Raply: クリーンなラップ歌詞の新しいツール

ラップの歌詞を作るのは難しいこともあるよね。うまいライムと大事な考えが必要なんだ。そこで、Raplyっていうツールを作ったんだ。これはGPT-2っていうモデルを使ってて、いいライムのあるラップを書くのを手伝ってくれるんだ。Raplyの大事な目標の一つは、あまり攻撃的な言葉を使わずに歌詞を作ること。これを実現するために、罵り言葉を避けた特別な歌詞のセットでモデルを訓練したんだ。モデルのでき具合は、ライムの頻度と歌詞の中の罵り言葉の量をチェックして評価したよ。ラップの歌詞向けに攻撃的な言葉を減らそうとしたのは、初めての試みだね。

ラップ音楽は1980年代後半から人気があるよね。社会問題や倫理的なテーマを扱うことが多くて、世界中の多くの人に影響を与えてるんだ。私たちの研究では、こういう問題を考慮しながら、どのラップのフレーズが一番意味あるのかを見つけたいと思ってる。ラップのスタイルに合ったテキストを作るために、歌詞の構造も見ていくつもりだよ。

ラップは時には厳しい言葉を使うこともあるけど、そのスタイルを尊重したいんだ。私たちの目標は、ラッパーが自分の人生について意味のある曲を書くのを助けることで、他の作家の助けを借りずに自分のラインを強くすることなんだ。この挑戦を、モデルがラップの最初の行をもらって、それに続く行を完成させるタスクとして扱ってるよ。

#特別なデータセットの構築

ツールを作るためには、大量のラップ歌詞が必要だったんだ。ウェブサイトからいろんなラップソングを集めたよ。89人の有名なラッパーを選んで、そのライティングスキルで知られてる人たちだね。APIを使って、彼らの曲名やリリース年、歌詞を集めた結果、約21,800曲になったよ。

この生データが揃ったら、ラップ作成に役立たない部分、イントロや繰り返しのセクションを取り除いて、歌詞のヴァースだけを残したんだ。その部分にほとんどのライムが入ってるからね。

#攻撃的な言葉の管理

言語モデルは、訓練に使ったデータから学ぶんだ。攻撃的な言葉を含むデータを使うと、モデルも似たような言葉を生成しちゃうから、訓練前にこの手の言葉をフィルタリングすることにしたんだ。

集めた歌詞を分析するために、1,600以上の一般的な英語の罵り言葉のリストを使ったよ。歌詞に攻撃的な言葉が含まれてるか調べて、カテゴリに分けたんだ。これで、オリジナルな歌詞とほとんどの攻撃的な言葉を避けたデータセットの2つを作れたよ。

#ライムの理解

ライムはラップの重要な要素なんだ。言葉が似た音を持つとき、特に語尾で起こるんだよ。完璧なライムやスラントライム、アソナンスやコンソナンスなど、いろんな種類のライムがあるんだ。ラップでは、ライミングがリズムを作り出して、リスナーを引きつけるんだよ。

ラッパーは、バーと呼ばれる行の構成を使っていて、通常は16バーくらいの長さのヴァースを作るんだ。各ヴァースは物語を語って、いいフックがあるとリスナーの注意を引くんだ。

#モデルの訓練

私たちはGPT-2モデルを使ってラップ生成ツールを作ったよ。このモデルを訓練するには、まず大量のデータで事前訓練してから、特定のタスクに合わせて微調整するのが必要なんだ。ゼロから始めるのではなく、事前訓練されたGPT-2を使って、ラップ歌詞を作るように調整したんだ。

訓練の間、特別なトークンを使って、生成する歌詞の構造をモデルが理解するのを助けるために、ヴァースの行を混ぜてテストもしたよ。強力なGPUを使って、2つの異なるプラットフォームでモデルを訓練したんだ。

訓練後、モデルがどれだけ歌詞を生成できるかテストしたよ。生成された歌詞と人間が書いた歌詞を比較して、トップkサンプリングという方法でバリエーションのあるラインを生み出して、どれだけライミングが良いか分析したんだ。

#結果と発見

モデルのパフォーマンスを重要な指標を使って分析したよ。その中の一つがライム密度で、歌詞のラインがどれだけうまくライミングしているかを測るんだ。私たちのモデルは、いくつかの古いモデルよりもライムを生成するのが得意だったけど、最良のものには勝てなかったんだ。

モデルが生成した歌詞の中の攻撃的な言葉の量も調べたよ。訓練したデータセットが結果の罵り言葉を減らすのに役立ったけど、いくつかの攻撃的な言葉がまだ出てくるかもしれないってことが分かった。これで、罵り言葉を管理するアプローチは少し成功したって分かる。

#今後の作業

これからは、モデルがラップ歌詞を生成する方法を改善したいんだ。一つのアイデアは、ライミングパターンに基づいて一番良いラインを選ぶランキングシステムを追加すること。もっと明確なライミング構造を持つデータを使って、モデルがさらに良いテキストを生成できるようにするつもりだよ。

GPT-3みたいなもっと進んだモデルでツールをテストして、どれだけ比較できるかも見たいんだ。それに、私たちのモデルが生成する歌詞の質をもっと分析していこうと思ってる。

#結論

この研究で、攻撃的な言葉を減らしながらラップ歌詞を作るのを手伝うツールRaplyを紹介したよ。慎重に選ばれたデータセットで訓練することで、倫理基準に沿ったラップを生成する進展を遂げたんだ。私たちのモデルは、強いライミングパターンを生み出せるし、使う言葉に気を使っている。これは、この音楽ジャンルの複雑さを尊重するラップ歌詞を生成するツールの開発において、大きな一歩なんだ。

#環境への影響

モデルを開発する際、訓練中に使ったエネルギーも考慮に入れたよ。モデルを訓練するときはエネルギーをたくさん使うから、使用量を追跡したんだ。訓練中に消費したエネルギーは、一部の国の個人の日常的な平均消費量よりもかなり低かったよ。

#倫理的考慮

テキストを生成するツールを使うときは、データのバイアスを管理するという課題があるよね。攻撃的な言葉をフィルタリングすることに重点を置いたけど、ラップ文化の一部として一部の罵り言葉が存在するのも理解しているんだ。生成する歌詞の中で、これらの言葉を完全に排除するのではなく、減らすことを目指しているんだ。

攻撃的な言葉のリストが完全にバランスが取れていないから、特定の種類の侮辱語が他よりも多く生成されるリスクがあるんだ。この点に関しては、ツールを開発する際に慎重に進める必要があるよ。

もう一つ重要な分野は、ユーザーがコンテンツを投稿するプラットフォームから歌詞を使用する場合の法的な側面なんだ。私たちのアプローチが知的財産権を侵害しないようにすることが重要で、これは私たちの作業の再現性にとって重要なんだ。

要するに、この研究は、意味があり言葉の使い方を考慮するラップ歌詞を生成するツールの作成における課題と成功を浮き彫りにしているんだ。これからもこれらのツールとその結果を改善していきたいと思ってるよ。