Expertenfindung in Online-Communities verbessern

Online Community Question Answering (CQA) Plattformen wie StackOverflow und AskUbuntu sind Werkzeuge, wo Nutzer Fragen stellen und Antworten von anderen Nutzern bekommen. Diese Plattformen helfen Leuten, Expertenlösungen für technische Probleme zu finden. Um wirklich hilfreiche Unterstützung zu bieten, ist es wichtig, Fragen mit den richtigen Experten zu verbinden. Dieser Prozess wird als Expert Finding (EF) bezeichnet. Je besser das EF, desto mehr Leute werden sich mit der Plattform beschäftigen und den Antworten vertrauen.

Trotz Verbesserungen beim Finden von Experten bleibt es eine Herausforderung, verschiedene Arten von Informationen auf diesen Plattformen zu kombinieren, um die richtigen Nutzer zu identifizieren. Daher wurde ein neues topic-orientiertes Benutzer-Interaktionsmodell für das Expert Finding entwickelt, um die verschiedenen Arten von Daten, die in Online-Communities verfügbar sind, zu nutzen.

#Verständnis von Expert Finding

EF konzentriert sich darauf, Nutzer zu finden, die viel über bestimmte Themen wissen und Fragen genau beantworten können. Das hilft, das Vertrauen und die Zufriedenheit der Nutzer zu verbessern. Traditionell hat EF auf den Inhalt von Fragen und Antworten sowie auf die Nutzerinteraktionen gesetzt. Die Herausforderung besteht darin, diese Datenpunkte effektiv zu verbinden.

Das vorgeschlagene Modell integriert soziale Daten und Inhalte, um ein mehrschichtiges Diagramm zu erstellen, das zeigt, wie Nutzer basierend auf den Themen, über die sie diskutieren, verbunden sind. Ziel dieses Modells ist es, relevante Nutzer für jede Frage zu identifizieren und sie nach ihrem Fachwissen zu bewerten.

#Mehrschichtiges Diagramm und Benutzerbeziehungen

Das mehrschichtige Diagramm stellt Benutzerbeziehungen in Schichten dar, die auf Themen basieren. Jede Schicht gruppiert Nutzer nach ihren Antwortmustern zu bestimmten Themen. Wenn eine Frage gestellt wird, berücksichtigt das Modell diese Schichten, um herauszufinden, unter welche Themen die Frage fällt und wer die meisten Kenntnisse darüber hat.

#Schichten Generieren

Um Schichten zu erstellen, nutzt das Modell frühere Fragen und Tags, mit denen die Nutzer interagiert haben. Tags sind Schlüsselwörter, die Fragen kategorisieren und es Nutzern erleichtern, sich durch Themen zu navigieren. Durch die Analyse, wie verschiedene Tags zusammen auftreten, organisiert das Modell sie in Cluster, die die Hauptdiskussionsbereiche in der Community darstellen.

Nutzer werden als Knoten im Diagramm behandelt, und ihre Beziehungen werden basierend auf ihren Antwortmustern hergestellt. Das bedeutet, dass Nutzer, die ähnliche Fragen beantwortet haben, im Diagramm verbunden sind. Wenn eine neue Frage auftaucht, kann das Modell auf diese Struktur zurückgreifen, um die qualifiziertesten Experten zu finden.

#Prozess der Expertenauswahl

Der Prozess der Expertenauswahl umfasst einige wichtige Schritte. Zuerst werden potenzielle Experten basierend auf zwei Hauptkriterien sortiert: ihrer Zentralität im Nutzernetzwerk und ihrer bisherigen Leistung beim Beantworten ähnlicher Fragen.

#Netzwerkperspektive

Nutzer, die eine zentrale Rolle innerhalb der Community spielen, werden durch einen Prozess namens Betweenness Centrality identifiziert. Das hilft, Nutzer hervorzuheben, die einflussreicher sind, um andere in der Community zu verbinden.

#Inhalts-Perspektive

Mit einem inhaltsbasierten Ansatz werden Experten basierend auf ihren bisherigen Antworten auf Fragen, die der neuen Anfrage ähneln, ausgewählt. Das Modell ruft eine Liste relevanter Fragen ab und findet Experten, die akzeptierte Antworten gegeben haben.

#Kombination Beider Perspektiven

Nachdem Experten mit den Netzwerk- und Inhalts-Perspektiven sortiert wurden, versammelt das Modell Kandidatenexperten aus beiden Listen. Dies sorgt für eine ausgewogene Auswahl und erfasst Nutzer, die sowohl einflussreich als auch sachkundig sind.

#Erforschen des Diagramms

Sobald die Kandidaten identifiziert sind, verwendet das Modell eine Technik namens Random Walks, um das Diagramm weiter zu erkunden. Diese Methode ermöglicht es dem System, zusätzliche potenzielle Experten zu finden, die möglicherweise nicht bei der ersten Auswahl identifiziert wurden. Es werden Verbindungen zwischen Nutzern betrachtet, um mehr Informationen über deren Fachwissen zu sammeln.

#Ranking der Kandidaten

Nach dem Sammeln der Kandidatenexperten wendet das Modell Learning to Rank (LtR) Techniken an, um sie zu bewerten und zu ranken. Dieser Prozess verwendet eine Reihe von Merkmalen, die das Fachwissen und die Relevanz jedes Kandidaten widerspiegeln. Die Merkmale werden in statische Merkmale, die sich nicht ändern, und abfrageabhängige Merkmale, die spezifisch für die gestellte Frage sind, kategorisiert.

#Statische Merkmale

Statische Merkmale umfassen den Ruf des Nutzers, die Anzahl der gegebenen Antworten und die Anzahl der akzeptierten Antworten. Diese Merkmale helfen, ein allgemeines Profil der bisherigen Leistung des Experten zu erstellen.

#Abfrageabhängige Merkmale

Abfrageabhängige Merkmale werden für jeden Kandidatenexperten basierend auf der spezifischen Frage berechnet. Dazu kann gehören, in wie vielen Schichten der Experte gefunden wurde und wie oft er ähnliche Fragen beantwortet hat.

#Experimentelles Setup

Um die Wirksamkeit des Modells zu bewerten, wurden umfangreiche Experimente mit sechs bekannten Communities von der StackExchange-Plattform durchgeführt. Jede Community hat einen einzigartigen Satz von Fragen und Antworten, was eine vielfältige Datenbasis für die Testung des Modells bietet.

#Datenvorbereitung

Vor den Experimenten wurden die Daten bereinigt und verarbeitet. Geschlossene Fragen (solche mit einer akzeptierten Antwort) wurden für den Trainingssatz ausgewählt. Die Daten wurden in Trainings- und Testdatensätze aufgeteilt, wobei die Reihenfolge der Fragen beibehalten wurde, um sicherzustellen, dass zeitabhängige Informationen erhalten bleiben.

#Modelltraining und Hyperparameter

Das Modell wurde mit den verarbeiteten Datensätzen trainiert, während die Hyperparameter zur Optimierung angepasst wurden. Dazu gehören Parameter, die mit dem mehrschichtigen Diagramm und Lernalgorithmen zusammenhängen, die die Genauigkeit des Modells verbessern.

#Evaluationsmetriken

Die Leistung des Modells wurde mit mehreren Evaluationsmetriken bewertet, darunter:

• Precision@1 (P@1): Misst die Genauigkeit des am besten bewerteten Experten.
• Normalized Discounted Cumulative Gain @3 (NDCG@3): Berücksichtigt das Ranking der Top drei Experten.
• Mean Reciprocal Rank (MRR): Bewertet den Durchschnitt der reziproken Ränge der ersten richtigen Antwort.
• Recall@5 (R@5): Überprüft, ob der richtige Experte unter den Top fünf Ergebnissen erscheint.

Diese Metriken helfen, zu verstehen, wie effektiv das Modell darin ist, die richtigen Experten zum Beantworten von Fragen zu ranken.

#Ergebnisse

Die Ergebnisse zeigten, dass das Modell die bestehenden Methoden zur Expertenfindung über alle getesteten Communities hinweg deutlich übertraf. Beispielsweise zeigte es Verbesserungen von über 42 % in P@1, was darauf hindeutet, dass es erfolgreich die besten Experten in der obersten Position für eine beträchtliche Anzahl von Anfragen identifizierte.

#Leistungsanalyse

Die Analyse zeigte, dass das mehrschichtige Diagramm besonders gut in grösseren Communities mit klar definierten Themen funktionierte. Die Experimente zeigten ein konsistentes Muster erfolgreicher Expertenidentifizierung, insbesondere in Communities mit starker Clusterbildung von Fragethemen.

#Skalierbarkeit

Das Modell zeigte auch Skalierbarkeit und war effizient im Umgang mit grösseren Datensätzen über Zeit. Als der Datensatz von einem Monat auf vier Monate Daten von StackOverflow erweitert wurde, hielt das Modell eine hohe Leistung aufrecht und zeigte gleichzeitig leichte Rückgänge in einigen Metriken. Das deutet darauf hin, dass obwohl die Leistung mit mehr Daten leicht sinken kann, das Modell immer noch effektiv Experten identifiziert und rankt.

#Fazit

Das vorgeschlagene topic-orientierte Benutzer-Interaktionsmodell für Expert Finding dient als effektives Werkzeug für Online-Community-Plattformen. Durch die Integration sowohl von Inhalts- als auch von sozialen Daten innerhalb eines mehrschichtigen Diagrammrahmens verbessert es den Prozess der Identifizierung wissensreicher Nutzer, die bei der Beantwortung von Fragen helfen können.

Die experimentellen Ergebnisse bestätigen die Überlegenheit des Modells gegenüber bestehenden Methoden und zeigen seine Fähigkeit, grössere Datensätze zu verwalten, während es eine hohe Effizienz in der Expertenbewertung aufrechterhält. Die Ergebnisse deuten darauf hin, dass dieses Modell nicht nur vorteilhaft für Nutzer ist, die Antworten suchen, sondern auch dazu beiträgt, eine engagiertere und zuverlässigere Community zu fördern.

Zusammenfassend hebt diese Arbeit Verbesserungen im Expert-Finding-Prozess hervor und liefert wertvolle Einblicke, wie soziale Interaktionen und Themenrelevanz genutzt werden können, um die Effektivität von Online-Frage-Antwort-Plattformen zu steigern.