Politische Ansichten mit KI-Modellen analysieren

In den letzten Jahren gab's einen deutlichen Anstieg in der künstlichen Intelligenz (KI) und den grossen Sprachmodellen (LLMs). Diese Modelle, wie OpenAIs GPT-4, haben angefangen, viele Lebensbereiche zu verändern, einschliesslich der Politik. Allerdings wurde ihr Einsatz zur Analyse politischer Daten noch nicht voll ausgeschöpft. Während einige Forscher begonnen haben, LLMs zu nutzen, um politische Reden zu untersuchen, gibt's noch viel zu tun, besonders in der quantitativen Analyse, die Daten untersucht, um Politische Ansichten und Verhaltensweisen zu verstehen.

Politische Ansichten zu studieren kann herausfordernd sein. Viele frühere Studien haben sich auf Dinge konzentriert wie das Abstimmungsverhalten von Politikern in Parlamenten oder was Parteiprogramme sagen. Diese Arbeiten zielten darauf ab, politische Meinungsverschiedenheiten und Spaltungen in verschiedenen politischen Systemen zu verstehen. Dennoch hatten diese früheren Methoden häufig mit typischen Problemen zu kämpfen, hauptsächlich wegen eines Mangels an verfügbaren Daten. Ausserdem boten frühere Arbeiten oft breite Analysen, anstatt die spezifischen Ansichten einzelner Politiker zu betrachten.

In diesem Artikel stellen wir eine Methode vor, um die politischen Meinungen einzelner Politiker mithilfe von LLMs zu analysieren. Diese Methode ermöglicht es uns, die Haltung eines Politikers zu verschiedenen Themen zu bewerten und bietet flexible Möglichkeiten, ihre Ansichten zu messen.

#Überblick über die Methode

Unser Ansatz nutzt einen modifizierten BERT-Klassifikator, eine Art LLM, um Reden von gewählten Vertretern zu analysieren. Wir konzentrieren uns darauf, Sätze zu extrahieren, die Meinungen aus diesen Reden ausdrücken. Nachdem wir diese meinungsbasierten Sätze haben, erstellen wir durchschnittliche Darstellungen jedes Politikers basierend auf ihren individuellen Texten.

Um diese Politiker zu bestimmten Themen zu positionieren, verwenden wir Referenzpunkte. Diese Referenzpunkte können entweder bestimmte Politiker sein, die für gegenteilige Ansichten bekannt sind, oder generierte Reden, die mit dem GPT-4-Modell erstellt wurden. Wir fragen das Modell, Reden zu erstellen, die bestimmte Positionen zu Themen vertreten, und bieten uns klare Anker, um andere zu bewerten.

Wir validieren unsere Ergebnisse auf zwei Hauptarten. Erstens prüfen wir die verschiedenen Segmente unserer Ergebnisse durch eine Topic-Modeling-Technik, um sicherzustellen, dass sie mit unseren Erwartungen übereinstimmen. Zweitens vergleichen wir unsere Ergebnisse mit Bewertungen einer Organisation, die sich darauf konzentriert, die Transparenz in der japanischen Politik zu erhöhen. Diese haben Parteidokumente und Politikzusammenfassungen analysiert, um die Positionen der Parteien zu verschiedenen Themen zu schätzen.

Unsere Ergebnisse zeigen, dass unsere Methode die politischen Ansichten von Vertretern ähnlich schätzen kann wie Experten, jedoch mit viel weniger menschlichem Aufwand. Das deutet darauf hin, dass LLMs politischen Wissenschaftlern effektiv helfen können, die Ideologien einzelner Vertreter zu analysieren.

#Herausforderungen bei der Analyse politischer Ansichten

Es ist schwierig zu schätzen, wo Politiker zu bestimmten Themen stehen. In der Vergangenheit verliessen sich Politikwissenschaftler auf Abstimmungsprotokolle und verschiedene Sprachtechniken, um die politischen Ansichten sowohl auf individueller als auch auf Parteiebene zu bewerten. Allerdings stiessen diese früheren Arbeiten oft auf zwei Hauptprobleme:

1. Begrenzte Sprachdaten: In der Regel gibt es nicht genug Daten aus Reden, um über einzelne Politiker zu lernen. Ohne genügend verfügbare Reden wird es schwer, aussagekräftige Darstellungen ihrer Ansichten zu erstellen.

2. Unvollständige Abstimmungsdaten: In vielen Parlamenten werden nur die Endergebnisse von Abstimmungen aufgezeichnet, nicht die spezifischen Stimmen einzelner Vertreter. Das führt zu einem Mangel an Daten, die nötig sind, um individuelle Darstellungen zu bilden.

Um diese Einschränkungen zu adressieren, nutzen wir anstelle traditioneller Methoden wie Parlamentsreden oder Abstimmungsdaten die Fähigkeiten von LLMs, um aussagekräftige Darstellungen direkt aus Transkripten von Reden zu erstellen.

#Die Rolle der LLMs

LLMs sind KI-Systeme, die darauf trainiert sind, Beziehungen zwischen Wörtern zu verstehen. Sie lernen, welches Wort als nächstes kommt, basierend auf vorhergehenden Wörtern, was es ihnen ermöglicht, bedeutungsvolle Wort-Embeddings zu erstellen. Diese Embeddings können ganze Texte darstellen, was sie nützlich für die Analyse politischer Reden macht.

Für unsere Forschung haben wir einen BERT-Klassifikator mit unserem Datensatz feinjustiert, um speziell meinungsbasierte Sätze zu identifizieren. Das ermöglicht es uns, grosse Mengen an Rededaten zu filtern und uns auf die relevantesten Abschnitte für unsere Analyse zu konzentrieren.

Unsere Methode beginnt mit dem Sammeln von Reden verschiedener Politiker, die wir mit spezifischen Schlüsselwörtern zu unseren Themen von Interesse versehen. Dann klassifizieren wir diese Sprachsegmente, um meinungsbasierte Sätze zu extrahieren, und erstellen so einen verfeinerten Datensatz für weitere Untersuchungen.

#Aufbau ideologischer Darstellungen

Als Nächstes erstellen wir durchschnittliche Embeddings für jeden Politiker basierend auf den identifizierten meinungsbasierten Sätzen. Diese durchschnittliche Darstellung ermöglicht es uns, ihre Haltung zu bestimmten Themen zu bewerten.

Um diese Embeddings in eine verständlichere Form zu übersetzen, projizieren wir sie auf eine Referenzachse. Diese Projektion kann entweder mithilfe manuell ausgewählter Politiker, die für gegenteilige Ansichten bekannt sind, oder durch generierte Reden, die bestimmte Positionen verteidigen, erstellt werden.

Durch den Vergleich dieser numerischen Darstellungen mit Expertenbewertungen können wir Einblicke gewinnen, wie gut unsere Methode mit etablierten Meinungen zu politischen Parteienpositionen übereinstimmt.

#Ergebnisse bewerten

Um die Genauigkeit unseres Ansatzes sicherzustellen, validieren wir unsere Ergebnisse durch verschiedene Methoden.

1. Topic Modeling: Wir analysieren die Segmente unserer Ergebnisse mit Topic-Modeling-Techniken, um zu überprüfen, ob sie auf unseren Erwartungen basieren. Diese qualitative Untersuchung hilft zu bestätigen, dass unsere Segmente tatsächlich die beabsichtigten Themen repräsentieren.

2. Vergleich mit Experten: Wir vergleichen unsere numerischen Projektionen mit Expertenbewertungen einer transparenzorientierten Organisation in Japan. Ihr Ansatz beinhaltet drei Experten, die die Parteipositionen anhand offizieller Dokumente analysieren. Während ihre Bewertung alle Parteien umfasst, konzentrieren wir uns auf die sechs grossen Parteien in Japan.

#Ergebnisse

Unsere Analyse zeigt, dass die ideologischen Positionen, die von unserer Methode geschätzt werden, mit denen übereinstimmen, die von Experten bestimmt wurden, was auf die Effektivität unseres Modells bei der Erstellung gültiger Bewertungen politischer Haltungen hinweist.

#Visuelle Darstellung

Um die Ergebnisse besser zu verstehen, visualisieren wir die ideologischen Positionen der Politiker in einem zweidimensionalen Raum. Durch die Dimensionen unserer Embeddings mit UMAP zu reduzieren, können wir veranschaulichen, wie sich verschiedene Vertreter in Bezug auf zentrale Themen positionieren.

Durch diese Visualisierung beobachten wir, dass sich die Haltungen der Politiker in bestimmten Themen von unterstützend zu nicht unterstützend ändern. Diese Darstellung erleichtert es, zu sehen, wo verschiedene Politiker im Hinblick auf die Themen, die wir untersuchen, zueinander stehen.

#Spezifische Interessenthemen

Für diese Studie haben wir uns auf zwei bedeutende Themen in der japanischen Politik konzentriert:

1. Anerkennung der Selbstverteidigungsstreitkräfte Japans (JSDF): Dieses Thema untersucht, ob die japanische Verfassung die Existenz der JSDF formell anerkennen sollte.

2. Neustart von Kernkraftwerken: Diese Frage dreht sich darum, ob Japan den Betrieb von Kernkraftwerken, die nach öffentlichen Bedenken nach der Fukushima-Katastrophe im Jahr 2011 als sicher gelten, wieder aufnehmen sollte.

Bei der Analyse dieser Themen haben wir manuell Referenzpolitiker ausgewählt, deren Ansichten eindeutig gegensätzliche Positionen zu jedem Thema darstellen. Zum Beispiel haben wir Politiker identifiziert, die die Anerkennung der JSDF unterstützen und solche, die dagegen sind. Ebenso haben wir Vertreter für und gegen den Neustart von Kernkraftwerken gefunden.

#Einschränkungen

Während unsere Ergebnisse vielversprechend sind, weisen wir auf mehrere Einschränkungen unseres Ansatzes hin:

1. Einzelne Durchschnitts-Embedding: Unsere Methode repräsentiert jeden Politiker mit einem einzigen durchschnittlichen Embedding aus ihren früheren Reden. Wenn ein Politiker plötzlich seine Position ändert, könnte dieses Durchschnitts-Embedding nicht ihre aktuellen Ansichten widerspiegeln. Das Anpassen des Modells, um neuere Reden zu priorisieren, könnte die Genauigkeit verbessern.

2. Diskrepanzen mit Expertenbewertungen: Obwohl unsere Schätzungen im Allgemeinen mit denen der Experten übereinstimmen, gibt es einige Unterschiede. Politische Parteien präsentieren sich oft auf eine Weise, die möglicherweise nicht die tatsächlichen Ansichten widerspiegelt, die in den Parlamentsreden ausgedrückt werden. Das kann zu Unterschieden in den Positionsschätzungen führen.

3. Bewertung einzelner Politiker: Nicht alle Vertreter haben den gleichen Einfluss auf Parteipolitiken oder -programm. Unsere Methode behandelt alle Eingaben gleich, was das Verständnis der Parteipositionen basierend auf den einflussreicheren Mitgliedern verzerren kann.

4. Black-Box-Natur der LLMs: Die Daten, die zum Trainieren von LLMs verwendet werden, sind unbekannt, und potenzielle Vorurteile können die Ergebnisse beeinflussen. Trotz der Bemühungen, zu verstehen, wie Embeddings erstellt werden, bleiben Fragen zur Zuverlässigkeit von LLMs in diesem Kontext bestehen.

#Zukünftige Richtungen

Da Methoden, die LLMs nutzen, zunehmend akzeptiert werden, erwarten wir, dass sie zu Standardwerkzeugen für die Analyse politischer Texte werden. Unsere Forschung zeigt, dass wir politische Positionsschätzungen aus individuellen Reden ableiten können, die mit den etablierten Expertenprognosen übereinstimmen. Das macht politische Analysen für Forscher und Praktiker gleichermassen zugänglicher.

In zukünftigen Studien wollen wir unsere Methodik anwenden, um Veränderungen in den Ansichten von Politikern über die Zeit zu überwachen. Die Fähigkeit, Veränderungen in der Ideologie quantitativ zu verfolgen, kann sowohl für die Öffentlichkeit als auch für Forscher wertvolle Einblicke liefern.

Zudem kann die Validierung unseres Ansatzes in anderen politischen Kontexten oder Systemen unsere Ergebnisse weiter stärken. Dies wird sicherstellen, dass unsere Methodik robust und auf verschiedene demokratische Systeme anwendbar ist.

#Fazit

Die Kombination von LLMs und quantitativen Analysemethoden eröffnet neue Möglichkeiten für die politische Forschung. Unser Ansatz zeigt, dass es möglich ist, die politischen Ideologien einzelner Vertreter durch ihre Reden zu schätzen. Indem wir den Bedarf an umfangreichen menschlichen Eingaben minimieren, zeigen wir, dass KI ein mächtiger Verbündeter im Verständnis komplexer politischer Landschaften sein kann.

Während Forscher weiterhin das Potenzial von KI in diesem Bereich erkunden, erwarten wir spannende Entwicklungen, die unser Verständnis von politischen Ideologien und Verhaltensweisen weltweit erweitern werden.