Regionale Diskriminierung in Vietnams sozialen Medien angehen

Regionale Diskriminierung ist ein ernstes Thema in Vietnam und taucht oft in sozialen Medien auf. Obwohl viele schlaue Leute Hassreden in der vietnamesischen Sprache untersucht haben, haben sie sich nicht viel mit regionaler Diskriminierung beschäftigt. Das ist wie ein Auto zu reparieren, ohne den Motor zu checken. Dieses Papier spricht über ein neues System, das hilft zu erkennen, wann Leute diskriminierende Kommentare posten, basierend darauf, wo jemand herkommt.

#Das grosse Ganze

Nach Jahren von Konflikten und Spaltungen ist regionale Diskriminierung in Vietnam gestiegen. Leute urteilen oft über andere, basierend darauf, wo sie herkommen, was zu Spaltungen und verletzten Gefühlen führen kann. Das ist ein bisschen wie zwei rivalisierende Fussballteams-die können einfach nicht miteinander.

Soziale Medien sind zu einem zweischneidigen Schwert geworden. Während sie Menschen verbinden, bieten sie auch eine Plattform für das Verbreiten von Negativität. Im Dezember 2023 hat ein beliebtes Nachrichtenprogramm die Auswirkungen regionaler Diskriminierung in den sozialen Medien in Vietnam hervorgehoben. Sie haben betont, wie dieses Verhalten die nationale Einheit schädigen kann.

#Warum das wichtig ist

Wir leben in einer Zeit, in der soziale Medien überall sind. Sie können Menschen zusammenbringen oder sie auseinanderziehen. Die negativen Kommentare können nicht nur Einzelne verletzen; sie können auch die Spaltungen innerhalb von Gemeinschaften vergrössern. Es ist wie ein Sandwich ohne Brot zu machen-das funktioniert einfach nicht.

Diese Studie hat das Ziel, ein System zu entwickeln, das hilft, diese diskriminierenden Kommentare in Echtzeit zu identifizieren und zu verarbeiten. Indem wir das tun, können wir Daten sammeln, um unser Verständnis der Situation zu verbessern und vielleicht sogar präventiv zu handeln.

#Verwandte Arbeiten

Es gibt andere Studien, die sich insbesondere mit Hassreden in Vietnam beschäftigen. Sie beinhalten oft eine sorgfältige Datenverarbeitung wie alles in Kleinbuchstaben umzuwandeln und unnötige Links zu entfernen. Das ist ein bisschen wie sein unordentliches Zimmer aufzuräumen, bevor man Freunde einlädt. Ein gutes Beispiel ist das PhoBERT-CNN-Modell, das verschiedene Techniken zur Analyse von Text kombiniert.

Diese Ansätze geben uns einen Ausgangspunkt, zeigen aber auch Lücken in den praktischen Anwendungen auf. Anstatt nur Modelle zu erstellen, müssen wir Wege finden, sie in der realen Welt anzuwenden, insbesondere in sozialen Netzwerken.

#Datensammlung

Wir haben unser eigenes Datenset namens ViRDC entwickelt, das rund 17.000 Kommentare aus sozialen Medien enthält. Das Ziel ist, zu untersuchen, wie Menschen regionale Diskriminierung online ausdrücken. Dieses Datenset ist unser Schatz an Erkenntnissen und wird uns helfen, die Sprache in diesen Kontexten zu verstehen.

Die Kommentare sind in drei Kategorien unterteilt:

1. Andere: Kommentare, die nicht wirklich bedeutend sind.
2. Diskriminierend: Kommentare, die Menschen direkt beleidigen oder herabsetzen, basierend darauf, wo sie herkommen.
3. Unterstützend: Kommentare, die Menschen vor Diskriminierung verteidigen oder Respekt für verschiedene Kulturen zeigen.

Diese dreifache Einteilung hilft uns, die verschiedenen Töne und Botschaften in Online-Interaktionen zu erfassen.

#Datenvorverarbeitung

Bevor wir die Daten analysieren können, müssen wir sie zuerst aufräumen. Das bedeutet, den rohen Text so vorzubereiten, dass er für die Modelle einfacher zu verarbeiten ist. Es ist ein bisschen so, als würde man Gemüse schneiden, bevor man es in einen Salat wirft.

Hier ist, was wir tun:

• Alles in Kleinbuchstaben umwandeln, damit "Hallo" und "hallo" als dasselbe angesehen werden.
• Links, Tags und Icons entfernen, da sie nur Lärm verursachen.
• Überflüssige Leerzeichen oder wiederholte Zeichen beseitigen, um es ordentlich zu halten.
• Satzzeichen entfernen, die unsere Modelle oft verwirren können.
• Die Kodierung für vietnamesische Wörter normalisieren, um Konsistenz zu gewährleisten.
• Jugendsprache oder Slang erkennen und dekodieren, um sicherzustellen, dass wir die richtige Bedeutung bekommen.
• Die drei Labels ausbalancieren, um sicherzustellen, dass unser Modell gut in allen Kategorien abschneidet.

Nach all der Arbeit haben wir ein sauberes Datenset, das bereit ist, um unsere Modelle zu trainieren.

#Modellaufbau

Jetzt kommt der spassige Teil-die Modelle aufbauen, die helfen, die Kommentare zu klassifizieren. Wir haben mehrere Ansätze ausprobiert und hier sind einige der Hauptakteure:

1. Random Forest: Diese Methode baut viele Entscheidungsbäume und kombiniert ihre Ergebnisse. Es ist ein bisschen so, als würde man eine Gruppe von Freunden nach ihrer Meinung fragen und sich für die Mehrheit entscheiden. Random Forest ist grossartig, weil es verschiedene Datentypen handhaben kann und sich nicht leicht verwirren lässt.

2. Multinomiale logistische Regression: Diese Technik betrachtet viele mögliche Ergebnisse und hilft uns, die Chancen für jedes herauszufinden. Perfekt für unsere Mehrklassenprobleme.

3. Multinomial Naive Bayes: Dieses Modell geht davon aus, dass die Wörter in einem Kommentar unabhängig wirken, was es zu einer soliden Wahl für die Textklassifikation macht. Es ist, als würden eine Gruppe von Freunden ihre Lieblingsbeläge für eine Pizza auswählen-jeder hat seinen eigenen Geschmack, aber alle tragen zum Endergebnis bei.

4. Transfer-Lernmodelle: Diese Modelle, wie PhoBERT, nutzen vorheriges Wissen, um neue Herausforderungen anzugehen. Stell dir einen Schüler vor, der in einem Land Mathe lernt und dann in ein anderes zieht-er fängt nicht von null an. Er kann das, was er bereits weiss, anwenden.

Durch das Mischen dieser Modelle wollen wir ein System schaffen, das diskriminierende Kommentare genau erkennen kann.

#Durchführung von Experimenten

Nachdem wir unsere Modelle aufgebaut haben, mussten wir testen, wie gut sie funktionieren. Wir haben sie auf Herz und Nieren geprüft und uns auf zwei Hauptwerte konzentriert: Genauigkeit und F1-Macro. Während die Genauigkeit uns zeigt, wie viele Kommentare korrekt gekennzeichnet wurden, hilft uns der F1-Macro-Wert, zu verstehen, wie gut das Modell in verschiedenen Kategorien abschneidet.

Es ist, als würde man ein Videospiel spielen und nicht nur seine Gesamtpunktzahl überprüfen, sondern auch, wie gut man in verschiedenen Levels abgeschnitten hat.

#Ergebnisse und Erkenntnisse

Nach den Tests haben wir herausgefunden, dass Random Forest die anderen Modelle übertroffen hat. Es ist sehr effektiv darin, Muster in den Kommentaren zu finden, was ihm hilft, zwischen den Labels "Diskriminierung" und "Andere" zu unterscheiden. Manchmal hat es jedoch Schwierigkeiten mit Kommentaren, die nicht klar diskriminierende Sprache zeigen.

Zum Beispiel können Sätze, die schlecht klingen, aber nicht diskriminierend gemeint sind, das Modell verwirren. Rechtschreibfehler, ungeschickte Formulierungen oder gängige Wörter, die in verschiedenen Kontexten erscheinen, stellen ebenfalls Herausforderungen dar.

#Streaming-Daten

Eine der coolsten Funktionen unseres Systems ist, dass es Daten in Echtzeit verarbeiten kann, dank Streaming-Technologie. Das bedeutet, dass wir die Kommentare analysieren können, sobald sie eintreffen, ohne auf einen grossen Batch zu warten. Es ist ein bisschen so, als würde man seine Lieblingssendung live schauen und sofort reagieren können!

Wir verwenden Tools wie Apache Kafka und Apache Spark Streaming, um diesen Informationsfluss zu bewältigen. So funktioniert es:

1. Datensammlung: Wir sammeln Kommentare von sozialen Medien wie Facebook und TikTok.

2. Verarbeitung: Die Kommentare durchlaufen Kafka, wo sie sortiert und zur Verarbeitung weitergeleitet werden.

3. Klassifizierung: Das am besten abschneidende Modell analysiert jeden Kommentar und kategorisiert ihn basierend auf unseren vordefinierten Labels.

4. Speicherung: Die Ergebnisse werden in einem Format gespeichert, das leicht zu visualisieren und zu verstehen ist.

Wir haben sogar eine benutzerfreundliche Schnittstelle erstellt, um die Ergebnisse anzuzeigen, komplett mit Tabellen und Diagrammen!

#Fazit und zukünftige Arbeiten

Zusammenfassend haben wir ein System erfolgreich entwickelt, um regionale diskriminierende Kommentare in vietnamesischen sozialen Medien zu erkennen. Durch die Erstellung des ViRDC-Datensatzes und das Experimentieren mit verschiedenen maschinellen Lernmodellen haben wir eine zuverlässige Methode zur Analyse und Verarbeitung dieser Kommentare in Echtzeit zusammengetragen.

Aber wir hören hier nicht auf. Unsere zukünftigen Pläne beinhalten, fortschrittliche Modelle der natürlichen Sprachverarbeitung zu integrieren, um verschiedene Arten von Diskriminierung anzugehen. Wir wollen auch unseren Tagging-Prozess verbessern und tiefen Lernmethoden für eine bessere Leistung erkunden.

Letztendlich streben wir an, ein System zu schaffen, das einfach zu bedienen ist und gut mit bestehenden sozialen Medienplattformen funktioniert. Wir glauben, dass dieser Einsatz dazu beitragen wird, Verständnis und Akzeptanz unter den verschiedenen Regionen in Vietnam zu fördern- Kommentar für Kommentar!