オンラインセクシズムへの対処：新たな課題
研究者たちが競争タスクを通じてオンラインでの性差別検出に取り組んでる。
― 1 分で読む
オンラインの性差別は、SNSで多くの人に影響を与える深刻な問題だよ。この形のヘイトは、女性をターゲットにして性別に基づいていることが多い。これを解決するために、研究者たちはオンラインで見つかる性差別的なコメントを検出して分類するシステムを開発している。このアーティクルでは、そうした取り組みの一つについて話してるんだ、チームがさまざまなタイプの性差別的発言を特定するという挑戦に焦点を当ててるよ。
チャレンジ
このチャレンジはSemEval-2023 Task 10と呼ばれていて、SNS上の性差別的言語の検出を向上させることを目指してた。参加者たちは、さまざまなユーザー生成コンテンツで知られるGabやRedditからのデータセットを使ったんだ。タスクはコメントが性差別的かどうかを特定するだけでなく、表示される性差別の性質を分類することも含まれてたよ。
使用された方法
このタスクには、XLM-TとHateBERTの2つの言語モデルがファインチューニングされた。XLM-Tは2年間で集めた大量のツイートをもとに訓練され、HateBERTは有害な言語に焦点を当てたRedditの大規模データセットをもとにカスタマイズされてたんだ。両方のモデルが性差別的コメントを正確に特定するのに役立つと考えられてたよ。
タスクの内訳
タスクは3つのサブタスクに分かれてた：
- タスクA：コメントを性差別的かどうかに分類すること。
- タスクB：性差別的コメントを脅威、侮辱、敵意、偏見の議論の4つのカテゴリに分けること。
- タスクC：性差別的発言を11の具体的なカテゴリにさらに分類すること。
データセットの説明
このタスク用に提供されたデータセットは不均衡で、明らかに非性差別的なコメントが多数を占めてた。トレーニングと開発のデータセットは似たような分布を持ってた。この偏りは、モデルが性差別的言語を特定する能力に影響を及ぼす可能性があったんだ。参加者は、システムを訓練するときに大多数のグループに偏らないように注意しなきゃいけなかった。
トレーニング戦略
タスクAでは、参加者が事前に訓練された2つの言語モデルをファインチューニングしてモデルをトレーニングした。最もパフォーマンスの良いモデルが使われて、別の未ラベルデータセットから潜在的な性差別的コメントを選択した。タスクBでは、ファインチューニング後、モデルはこれらのコメントを自動的に分類した。この大きなデータセットは、本物と合成データを混ぜてさらにトレーニングされたよ。
タスクCでは、モデルは各コメントの親カテゴリに関する追加情報を活用した。これにより、性差別の性質に関するより正確な予測が可能になったんだ。もっと情報を持つことで、結果が改善されることが期待されてたんだけど、そうした情報は現実のアプリケーションでは仮説的なものだった。
実験の設定
競技では、主催者が提供したデータセットのみを使用した。トレーニングデータの一部は開発目的で保持された。チームはリリースされた開発データを残りのトレーニングデータセットに追加した。この慎重な分割により、モデルのパフォーマンスをより正確に評価できたんだ。
結果
結果として、バイナリ分類タスクではXLM-Tモデルが最も良いパフォーマンスを示したんだ。HateBERTも似たコンテンツで訓練されたけど、XLM-Tのような成功は収められなかった。参加者たちは、合成データの導入がタスクBの結果を少し改善したと指摘してたけど、合成データの質は元のラベル付きデータよりも信頼性が低かったよ。
タスクCでは、モデルに親カテゴリに関する事前知識が与えられたときに大きな成果が見られた。この情報は予測を導いて、より良い結果につながった。コンテキストが理解や分類を向上させることを強調してたんだ。
コンペティションの結果
コンペティションでは、タスクAのXLM-Tモデルだけが提出された。そのモデルは49位で、トップパフォーマンスのモデルとはほんの少しの差だった。最上位にはランクインしてなかったけど、パフォーマンスは競争力があって、オンラインの性差別との闘いに希望を持たせるものだったよ。
結論
SNS上の性差別的コンテンツを分類するために設計されたシステムは、ユーザーにとってこれらのプラットフォームをより安全にするために重要なんだ。言語モデルや革新的なトレーニング戦略を使うことで、オンラインの性差別を検出し、分類する進歩が進んでる。この取り組みは、SNSの安全性を向上させ、より尊重されるインタラクションを確保するための示唆を持ってる。今後はデータセットの不均衡を解決したり、モデルのパフォーマンスをさらに向上させるためのデータ拡張戦略を探ることに焦点を当てられるかもしれないね。これらのツールを開発し続けることで、みんながよりインクルーシブなオンライン環境を作れるようになるかも。
タイトル: HausaNLP at SemEval-2023 Task 10: Transfer Learning, Synthetic Data and Side-Information for Multi-Level Sexism Classification
概要: We present the findings of our participation in the SemEval-2023 Task 10: Explainable Detection of Online Sexism (EDOS) task, a shared task on offensive language (sexism) detection on English Gab and Reddit dataset. We investigated the effects of transferring two language models: XLM-T (sentiment classification) and HateBERT (same domain -- Reddit) for multi-level classification into Sexist or not Sexist, and other subsequent sub-classifications of the sexist data. We also use synthetic classification of unlabelled dataset and intermediary class information to maximize the performance of our models. We submitted a system in Task A, and it ranked 49th with F1-score of 0.82. This result showed to be competitive as it only under-performed the best system by 0.052% F1-score.
著者: Saminu Mohammad Aliyu, Idris Abdulmumin, Shamsuddeen Hassan Muhammad, Ibrahim Said Ahmad, Saheed Abdullahi Salahudeen, Aliyu Yusuf, Falalu Ibrahim Lawan
最終更新: 2023-04-28 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2305.00076
ソースPDF: https://arxiv.org/pdf/2305.00076
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。