Verbesserung der Moralerkennung in Texten

Sprachmodelle können trainiert werden, um die moralischen Gefühle, die in Texten ausgedrückt werden, zu verstehen. Das bietet neue Möglichkeiten, um zu studieren, wie Moral das Leben der Menschen beeinflusst. Immer mehr Leute konzentrieren sich auf Sprache und Moral, und es sind verschiedene Datensätze verfügbar, die moralische Aspekte in Texten kennzeichnen. Diese Datensätze unterscheiden sich jedoch darin, wie sie gesammelt wurden, welche Themen sie abdecken, welche Anweisungen denjenigen gegeben wurden, die die Texte kennzeichnen, und weiteren Faktoren. Wenn man diese unterschiedlichen Datensätze einfach zusammenwirft, kann das zu Modellen führen, die in verschiedenen Situationen nicht gut funktionieren.

Wir präsentieren ein Framework, das verschiedene Datensätze kombiniert, um das Lernen der moralischen Aspekte in Texten zu verbessern. Dieses Modell verwendet eine Methode namens domänenadversales Training, um die Datensätze einander näher zu bringen, was die genutzten Merkmale angeht. Es nutzt auch eine spezielle Verlustfunktion, die hilft, mit den Unterschieden in den Labels umzugehen. Unser Framework zeigt starke Ergebnisse über verschiedene Datensätze hinweg im Vergleich zu früheren Methoden, die sich auf das Verständnis von Moral konzentrieren.

Moral hilft Einzelpersonen, zwischen richtig und falsch zu unterscheiden und beeinflusst ihre täglichen Interaktionen. Sie prägt auch die Urteile, Überzeugungen und Einstellungen der Menschen, was zu unterschiedlichen moralischen Erfahrungen in verschiedenen Kulturen führen kann. Die Forschung hat moralische Gefühle mit politischen Überzeugungen, Kommunikationsstrategien in den Medien und sogar mit Gewalttaten in Verbindung gebracht.

Um Moral zu messen, haben Forscher eine Skala entwickelt, um die instinktiven ethischen Reaktionen der Menschen auf soziale Situationen zu erfassen. Die Moral Foundations Theory (MFT) beschreibt Moral in fünf Schlüsselbereichen:

1. Fürsorge/Schaden: Sorge um das Leiden anderer.
2. Gerechtigkeit/Betrug: Fragen zu Gerechtigkeit und Rechten.
3. Loyalität/Verrat: Engagement für die eigene Gruppe.
4. Autorität/Unterwanderung: Respekt vor Autorität.
5. Heiligkeit/Verschmutzung: Fokus auf Reinheit und Vermeidung von Verschmutzung.

Früher basierte das Studium der Moral auf Fragebögen und Geschichten, die darauf ausgelegt waren, diese Dimensionen zu offenbaren. Kürzlich haben automatisierte Methoden für die Verarbeitung natürlicher Sprache (NLP) es möglich gemacht, Moral in grossen Textmengen zu bewerten, wie z.B. in Nachrichtenartikeln und Social-Media-Beiträgen. Dieser Fortschritt hat neue Wege eröffnet, um Moral zu studieren.

Fortgeschrittene Techniken trainieren Sprachmodelle mit Datensätzen, die von menschlichen Annotatoren etikettiert wurden und moralische Ausdrücke in Texten identifizieren. Sobald diese Modelle trainiert sind, können sie die Moral in neuen Texten bewerten. Das wachsende Interesse an diesem Bereich hat zur Schaffung mehrerer etikettierter Datensätze für die Analyse von moralischen Grundlagen geführt.

Forscher hoffen, dass sie durch das Training von Modellen mit mehreren Datensätzen bessere Ergebnisse und mehr Flexibilität erzielen können. Diese etikettierten Datensätze unterscheiden sich jedoch erheblich: einige konzentrieren sich auf Nachrichten, während andere Social Media betrachten; einige decken Politik ab, während andere Gesundheit ansprechen; einige geben breite Anweisungen, während andere spezifische Richtlinien haben. Einfaches Zusammenführen dieser unterschiedlichen Datentypen kann zu unerwarteten und verzerrten Vorhersagen führen. Beispielsweise könnten Modelle, die auf kombinierten Datensätzen trainiert wurden, Ergebnisse liefern, die im Widerspruch zu denen von Modellen stehen, die auf separaten Datensätzen trainiert wurden, ein Problem, das als Simpsons-Paradoxon bekannt ist.

Wir gehen das Problem an, Moral-Klassifikatoren unter Verwendung unterschiedlicher Datensätze zu schulen, durch eine datenzusammenführungs-inspirierte Methode. Anstatt kombinierte Daten zu verwenden, wendet unser Ansatz domänenadversales Training an, um die Merkmale aus verschiedenen Datensätzen in einem einheitlichen Raum zu vereinen. Dies reduziert die Komplikationen, die durch Unterschiede in den Themen verursacht werden, und verbessert die Fähigkeit des Modells, über verschiedene Datenquellen zu verallgemeinern.

Datensätze können sich auch in der Verteilung ihrer Labels unterscheiden. Beispielsweise könnten Tweets über Gesundheitsfragen mehr Nachrichten enthalten, die sich auf Fürsorge konzentrieren, als Tweets, die politische Proteste behandeln. Wenn dieser Unterschied nicht berücksichtigt wird, kann das zu schlechterer Leistung bei Klassifikatoren führen. Um dieses Problem zu bekämpfen, schlagen wir vor, eine Gewichtete Verlustfunktion zu verwenden, die die verschiedenen Label-Klassen ausgleicht und darauf achtet, sowohl positive als auch negative Beispiele fair zu repräsentieren.

Im Vergleich zu früheren Methoden zur Erkennung von Moral bietet unser vorgeschlagenes Framework in vielen Datensätzen, insbesondere bei Tests ausserhalb der Domäne, Spitzenleistungen. Wir glauben, dass unsere Arbeit die erste ist, die die Flexibilität von Modellen für die Analyse von moralischen Grundlagen durch Multi-Datensatz-Training und Domänenanpassungstechniken verbessert.

#Verwandte Arbeiten

Viele frühere Studien haben daran gearbeitet, Methoden zur Klassifizierung moralischer Grundlagen in Texten zu entwickeln. Einige verwenden lexikondbasierte Ansätze, die auf bestehenden lexikalischen Ressourcen beruhen, wie dem Moral Foundations Dictionary (MFD). Andere haben vorgeschlagen, verteilte Wörterbuchdarstellungen zu nutzen, um semantische Ähnlichkeiten zwischen Wörtern zu finden. Einige Methoden betrachten, wie weit ein Text von Achsen entfernt ist, die durch Wörter definiert sind, die Tugenden und Laster gemäss moralischen Grundlagen darstellen.

Mit dem Aufstieg fortgeschrittener transformerbasierter Sprachmodelle wie BERT haben Forscher festgestellt, dass diese grossen vortrainierten Modelle beginnen, soziale Normen zu verstehen, was es ihnen ermöglicht, richtige und falsche Handlungen zu identifizieren. Verschiedene Studien haben diese Sprachmodelle angewandt, um Einbettungen zur Bewertung moralischer Grundlagen zu erstellen.

Mit steigendem Interesse an Moralstudien, insbesondere mit der Verfügbarkeit grosser Mengen an Inhalten aus sozialen Medien, ist die Aufgabe, Moral aus riesigen Mengen unbeschrifteter Daten abzuleiten, alltäglich geworden. Die Herausforderung besteht darin, begrenzte Ressourcen effektiv zu nutzen und dabei in verschiedenen Datensätzen gut abzuschneiden.

Forscher entwickelten ein minimal überwachtes Framework, das viele schwache Labels mit einer kleineren Anzahl starker Labels kombiniert, um moralische Grundlagen im Zusammenhang mit dem COVID-Impfstoff zu analysieren. Einige haben die Moral-Detektion in ressourcenarmen Umgebungen untersucht und Modelle mit einem grösseren Volumen an verfügbaren Daten trainiert, während sie sie mit einer kleinen Menge etikettierter Beispiele verfeinerten.

Allerdings sind in-domain Labels nicht immer zugänglich, und die Annotierung von Moral ist eine komplexe Aufgabe. Diese Schwierigkeit führt oft zu hohen Zeitkosten und geringeren Übereinstimmungen unter den Annotatoren. In dieser Studie betrachten wir die herausforderndere Situation, auswärtige Moral-Inferenzen ohne In-Domain-Labels vorzunehmen. Unsere Methode nutzt bestehende heterogene Datensätze mit Morallabels und wendet Ideen aus der Domänenanpassung an, um die Leistung des Modells in einer anderen Domäne zu verbessern.

#Ansatz und Methode

Unüberwachtes domänenanpassendes Training ist ein zentraler Forschungsbereich im maschinellen Lernen. Viele Strategien wurden entwickelt, um dies anzugehen, einschliesslich Methoden zur Verbesserung der Qualität von Trainingsdaten und Techniken, die es Merkmalsextraktoren ermöglichen, Merkmale zu generieren, die nicht spezifisch für ein bestimmtes Gebiet sind.

Ein Ansatz ist das domänenadversariale neuronale Netzwerk (DANN). Dieses Modell hat einen Merkmalsextraktor, einen Labelklassifizierer und einen Domänenklassifizierer, der im Widerspruch zum Merkmalsextraktor arbeitet und die Produktion von Merkmalen fördert, die den Domänenklassifizierer in die Irre führen können. Dieser Ansatz hat in verschiedenen NLP-Aufgaben, einschliesslich Textklassifikation und Stance Detection, Erfolge gezeigt.

Während frühere Arbeiten ähnliche Ideen für die Stance Detection verwendet haben, bringt die Moralerkennung einzigartige Herausforderungen mit sich. Die Kategorien variieren erheblich zwischen den Datensätzen, da einige sich darauf konzentrieren, ob ein Text unterstützend oder ablehnend ist, während andere sich mit verschiedenen Zielen befassen können. Die Vorhersage von Moral hingegen beruht auf klar definierten Prinzipien der Moral Foundations Theory und teilt oft dieselben Labels zwischen den Datensätzen.

Unsere Modellstruktur umfasst einen BERT-Encoder zur Textdarstellung, ein Transformationsmodul zur Merkmalsausrichtung, einen Klassifizierer für moralische Grundlagen mit einer gewichteten Verlustfunktion, einen adversarialen Domänenklassifizierer und ein Rekonstruktionsmodul, um negative Effekte durch das Domänentraining zu vermeiden. Das Ziel ist es, domänenunabhängige Einbettungen zu entwickeln, die verschiedene Bereiche effektiv handhaben können und dennoch bei der Moralerkennung herausragend sind.

Der BERT-Encoder wandelt Texte in Einbettungen um. Diese Einbettungen enthalten jedoch oft domänenspezifische Informationen, die die Leistung über verschiedene Datensätze hinweg beeinträchtigen können. Um dies zu adressieren, fügen wir eine domäneninvariante Transformationsschicht hinzu, um die Ausgabeeinbettungen zu modifizieren und sicherzustellen, dass die ursprünglichen Informationen erhalten bleiben.

Der Klassifizierer für moralische Grundlagen lernt dann, diese angepassten Einbettungen zu verwenden, um moralische Grundlagen zu identifizieren. Er berücksichtigt dabei, dass ein einzelner Text möglicherweise mehrere moralische Grundlagen betreffen kann, was mehrfache Labelklassifikationen ermöglicht.

Um das Ungleichgewicht zwischen positiven und negativen Beispielen zu managen, verwenden wir eine gewichtete binäre Kreuzentropie-Verlustfunktion, die es dem Modell ermöglicht, die verschiedenen Klassen besser darzustellen. Der Domänenklassifizierer unterscheidet, aus welchem Datensatz eine Probe stammt, und fördert das Lernen von Merkmalen, die domänenunabhängig sind.

Abschliessend fügen wir ein Rekonstruktionsmodul hinzu, um die Integrität der ursprünglichen Einbettungen während des adversarialen Trainings zu bewahren. Durch die Kombination dieser Komponenten schaffen wir ein robustes Modell, das verschiedene Datensätze effektiv ausrichtet.

#Bewertung und Ergebnisse

Wir haben die Leistung unseres Modells mit mehreren gekennzeichneten Datensätzen in unterschiedlichen Testszenarien bewertet. Ein Datensatz, das Moral Foundations Twitter Corpus, enthält Tweets, die von menschlichen Annotatoren zu verschiedenen Themen etikettiert wurden. Ein anderer Datensatz umfasst Tweets von Mitgliedern des US-Kongresses zu politischen Themen, während das erweiterte Moral Foundations Dictionary aus Nachrichtenartikeln besteht, die von einer grossen Menge annotiert wurden.

Wir haben unser Modell mit etablierten Baselines verglichen: der Methode der verteilten Wörterbuchdarstellungen, BERT und einer Version von BERT, die mit Lightweight Adversarial Filtering (AFLite) verbessert wurde. Unsere Bewertungen verwenden den F1-Score, um die Effektivität über verschiedene Klassen hinweg zu messen.

Eine wichtige Erkenntnis ist, dass, während die unüberwachte Methode, DDR, mit kleinen Trainingsdaten gut abschneiden kann, die Effektivität der überwachten Methoden wie BERT und unseres Modells erheblich steigt, wenn mehr beschriftete Daten verfügbar werden. Durch das Zusammenführen verschiedener Datensätze und die Nutzung starker Modelle übertrifft unser Ansatz DDR konstant.

Darüber hinaus übertrifft unser Modell auch BERT, insbesondere wenn es mit Trainings- und Testdaten konfrontiert wird, die unterschiedliche Verteilungen in Merkmalen oder Labels aufweisen. In Fällen, in denen der Trainingsdatensatz im Vergleich zu einem grösseren, vielfältigeren Testdatensatz klein ist, zeigt unser Modell seine Stärken deutlicher.

Der Vergleich mit BERT mit AFLite zeigt, dass unser Modell eine konsistentere Leistung über verschiedene Datensätze hinweg bietet, ohne unter Overfitting in Bezug auf Trainingsdaten zu leiden. Die Kombination von Datensätzen für das Training bringt normalerweise Vorteile für die Leistung aller Modelle, aber es ist wichtig, sorgfältig zu überlegen, wie man Datensätze mit unterschiedlichen Merkmalen oder Labelverteilungen zusammenführt, da dies die Vorhersagen beeinflussen kann.

Insgesamt zeigen unsere Ergebnisse, dass unsere Methode effektiv mit Verschiebungen in Merkmalen und Labels umgeht, was ein verbessertes Lernen bei der Arbeit mit unterschiedlichen Datensätzen ermöglicht. Ausserdem stellt sie einen bedeutenden Fortschritt in der Weiterentwicklung der State-of-the-Art-Methoden zur Erkennung von Moral in verschiedenen Kontexten dar.

#Fazit

Wir haben ein Datenfusion-Framework vorgestellt, das darauf abzielt, das Lernen moralischer Grundlagen über verschiedene Datensätze hinweg zu verbessern. Unsere Arbeit hebt die Bedeutung der Zusammenführung geeigneter Datensätze hervor und zeigt, dass unser Modell in vielen Einstellungen traditionelle Baselines übertrifft. Die Integration des domänenadversarialen Moduls und der gewichteten Verlustfunktion trägt erheblich zur Angleichung der Daten aus verschiedenen Quellen bei.

Trotz dieser Fortschritte bleiben Herausforderungen bestehen. Zukünftige Anstrengungen werden sich darauf konzentrieren, grosse Datensätze weiter in spezifische Themen zu unterteilen und Methoden zur Domänenanpassung zu verbessern, um besser mit Labelverschiebungen umzugehen. Ausserdem werden wir daran arbeiten, potenzielle Verzerrungen zu mindern, die aus der subjektiven Natur der Moral in unterschiedlichen kulturellen Kontexten entstehen.

Indem wir die Grenzen verschieben, wie wir Moral durch Sprache studieren, hoffen wir, genauere Modelle zu schaffen, die die Komplexität ethischer Überlegungen in unterschiedlichen Umgebungen bewältigen können.