子どもの障害に関するツイートの分類

子供の頃の障害、例えばADHD、自閉症、言語遅延、喘息とかは、子どもの成長や健康に大きな影響を与えるし、こういった問題は大人になっても続くことが多いよね。アメリカでは、3歳から17歳の子供の約6人に1人が発達の問題を抱えていて、ADHDや自閉症がよく見られる例だよ。以前の研究では、Twitterを使ってこれらの状態についての自己報告を探してたけど、親が子供の問題を言及しているツイートを詳しく見てはいなかったんだ。これにより、Twitterのデータを使って子供の状態についてもっと学ぶ機会が生まれたんだ。

#タスクとデータの説明

SMM4H-2024というワークショップでは、ソーシャルメディアを研究するために大型言語モデルを使うことに焦点を当てている。私たちは特定のタスクに参加していて、ツイートを分類する作業をしているんだ。目的は、ADHD、自閉症、言語遅延、喘息を持つ子供を言及している親のツイートと、ただこれらの障害について言及しているツイートを区別することだよ。

トレーニング用、検証用、テスト用の3つのデータセットが提供された。トレーニングと検証データセットにはラベルが付いているけど、テストデータセットにはラベルがない。すべてのデータセットは、妊娠をTwitterで報告し、障害を持つ子供を言及しているユーザーのツイートと、単に障害について言及しているツイートが含まれている。ツイートの総数は、トレーニング用が7,398、検証用が389、テスト用が1,947だよ。

特定のモデルを使ったベンチマーク分類器は、テストデータで障害を持つ子供がいることを報告しているツイートを特定するのにF1スコア0.927を達成したんだ。

#使用したモデル

BioLinkBERT、RoBERTa、BERTweetという3つの異なる言語モデルをテストした。BioLinkBERTは医療用の言語を理解するのに優れているし、RoBERTaは一般的な言語タスクに強い。そしてBERTweetはツイートに特に効果的なんだ。各モデルをトレーニングデータセットを使って訓練して、検証データセットを使ってパフォーマンスを確認したよ。

#トレーニングの手順

モデルをどうやってトレーニングしたかの詳細は付録に含まれている。トレーニングのための主要な設定、例えば学習率やバッチサイズは、次のセクションで決めたよ。

#ハイパーパラメータの最適化

ハイパーパラメータの設定を調整するために、機械学習モデルを管理するツールを使った。設定の詳細についても、付録に載ってるよ。

#予備実験

選んだ各モデルは3ラウンドにわたってトレーニングされて、各ラウンドで10回のトレーニングサイクルを行ったんだ。各サイクルの後、検証データでのF1スコアを確認して、各モデルの進捗を見た。各モデルの最良のパフォーマンスを保存したよ。結果は付録にまとめてる。

私たちの発見から、RoBERTaとBERTweetは検証データで似たようなパフォーマンスを示して、BioLinkBERTよりもずっと良かった。BioLinkBERTは大きな医療データセットでトレーニングされてたのに、結果的にBioLinkBERTはさらなるテストから除外することにしたよ。

#アンサンブル戦略

小さいデータセットで大きなモデルをトレーニングすると、トレーニングデータの小さな変化やランダムな初期条件が結果に影響を与えて、安定した結果を得るのが難しいことがある。これに対処するために、いくつかのモデルを組み合わせたんだ。RoBERTaとBERTweetの走行で得られた最良の結果を使って、2つのモデルグループを作成した。各グループのすべてのモデルは同じ設定を使って、初期条件だけが異なっていた。そしてこれらのモデルを元にして投票法で最終的な予測を行った。

結果として、BERTweetのモデルグループがRoBERTaのグループよりも良いパフォーマンスを示した。これは主に、3ラウンドにおけるパフォーマンスの変動がBERTweetでは少なかったからだ。さらに、BERTweetグループの結果がRoBERTaの走行のうちの1つの最良の結果と一致したことにも気づいたよ。

#パフォーマンス結果

RoBERTaの最良の走行とBERTweetグループは、検証データセットで似たような成功を収めたから、両方を別の未見のテストデータセットでテストした。結果として、BERTweetグループは、すべてのチームの提出物で見られた平均的なパフォーマンスを大きく上回り、ベンチマーク分類器を1.18%も上回った。両方の分類器が検証テストでは似たようなパフォーマンスだったけど、テストデータを見るとBERTweetグループがずっと良かったんだ。理由の一つは、BERTweetモデルの異なる走行がデータ内のさまざまなパターンを捉えたかもしれないからだよ。

複雑な言語モデルをファインチューニングする時には、小さいデータセットでパフォーマンスの不安定さに直面することが多い。でもこれを補うために、より良い結果を得るためにBERTweetモデルの複数のバージョンからの予測を組み合わせた。このアプローチによって、最終スコアに目立った改善が見られたんだ。

#結論

RoBERTaの最良の走行とBERTweetグループは、検証データセットで強いパフォーマンスを示したよ。でも、BERTweetグループはテストデータで評価されたときに優れたスコアを達成して、ベンチマークとして使用した最初のモデルに比べて高いスコアを取った。このBERTweetグループの成功は、グループにさらに多くの走行を追加することでパフォーマンスにどのように影響を与えるかをさらに調査する興味を呼び起こすね。この探求が、子供の障害に関連するツイートの理解や分類において、さらなる良い結果につながるかもしれない。全体として、私たちの仕事は、特にデータが少ないときに複数のモデルからの結果を組み合わせることで予測が向上する可能性があることを示唆しているんだ。