Optimierung von Kunden Zufriedenheitsprognosen in Call Centern

Kundenzufriedenheit (CSAT) ist ein grosses Ding für Callcenter. Es ist wie der Goldstern, der zeigt, wie gut sie abschneiden. Aber hier kommt der Haken: Nur eine kleine Zahl von Kunden füllt nach ihrem Anruf einen CSAT-Fragebogen aus. Wir reden hier von etwa 8% in einigen Fällen. Diese nicht-so-tolle Rücklaufquote kann es Callcentern schwer machen zu wissen, wie glücklich ihre Kunden wirklich sind. Wenn sie kein Feedback bekommen, verpassen sie vielleicht wichtige Chancen, ihren Service zu verbessern.

Um dieses Problem anzugehen, könnten Callcenter ein Modell verwenden, das vorhersagt, wie zufrieden ein Kunde ist, auch wenn er den Fragebogen nicht ausfüllt. Da CSAT so wichtig ist, ist es entscheidend, dass diese Vorhersagen so genau wie möglich sind. Hier kommen unsere Forschungsergebnisse ins Spiel. Wir haben eine Methode entwickelt, um sicherzustellen, dass diese vorhergesagten Kundenzufriedenheitswerte, oder pCSAT, eng mit den tatsächlichen Umfrageergebnissen übereinstimmen.

#Die Ausgangslage

Es ist nicht ungewöhnlich, dass Machine Learning-Systeme aktualisiert werden. Das Schwierige dabei ist, dass diese Updates das Gleichgewicht der Ergebnisse verändern können. Wenn zum Beispiel zu viele vorhergesagte Werte hoch oder niedrig sind, könnte das das Gesamtbild verzerren. Um das zu lösen, haben wir einen Kontrollprozess erstellt, der hilft, diese Werte im Schach zu halten, besonders wenn es viel Stichprobenrauschen gibt (stell dir das wie Rauschen im Radio vor).

In unseren Ergebnissen können die durchschnittlichen CSAT-Werte wild variieren, wenn nicht jeder antwortet. Wenn nur ein kleiner Teil der Kunden Feedback gibt, was ist mit dem Rest? Die Zufriedenheit für alle Anrufe vorherzusagen, kann helfen, ein klareres Bild zu erhalten.

#Die Herausforderung des Kundenfeedbacks

Kommen wir mal klar, wir wissen alle, dass Umfragen öde sein können. Wenn Kunden nicht antworten, bleiben ihre Meinungen ein Rätsel. Die Zufriedenheit für jeden Anruf vorherzusagen, könnte helfen, diese Ecken abzurunden. Unser Papier bietet einen neuen Weg, diese Werte vorherzusagen, ohne Vorurteile einzuführen.

#Was gibt's da draussen?

In der Welt des maschinellen Lernens hat die Vorhersage der Kundenzufriedenheit ziemlich viel Aufmerksamkeit bekommen. Studien haben verschiedene Wege gezeigt, um dieses Problem anzugehen, aber sie haben oft Schwierigkeiten damit, die tatsächliche Verteilung der Umfrageergebnisse beizubehalten. Wir haben frühere Forschungsarbeiten genauer unter die Lupe genommen, um deren Methoden zu verstehen und zu sehen, wo wir besser abschneiden können.

Einige Forscher haben automatische Transkriptionssysteme verwendet, um Anruftranskripte zu analysieren, zusammen mit Nicht-Text-Daten, um Zufriedenheitswerte zu erstellen. Andere haben untersucht, wie akustische Merkmale helfen, die Zufriedenheit vorherzusagen. Unser Ansatz baut auf vorherigen Arbeiten auf und ermöglicht es uns, die Genauigkeit der Vorhersage von CSAT-Werten basierend auf Anruftranskripten zu verbessern.

#Replikation der Klassendistribution

Der coole Teil unserer Methode besteht darin, sicherzustellen, dass die vorhergesagten Werte eng mit den tatsächlichen Umfrageantworten übereinstimmen. Wir müssen sicherstellen, dass unterschiedliche Zufriedenheitsniveaus genau repräsentiert sind, damit sich niemand ausgeschlossen fühlt.

In der Welt des maschinellen Lernens gibt es Möglichkeiten, mit unausgewogenen Daten umzugehen. Techniken wie Neu-Proben und Anpassung von Schwellenwerten können verbessern, wie Klassen repräsentiert werden. Allerdings helfen diese Methoden oft nicht viel, wenn es darum geht, eine genaue Übereinstimmung mit Umfragedaten zu erreichen. Um spezifische und nützliche Vorhersagen zu erhalten, mussten wir die Entscheidungsgrenzen optimieren. Das bedeutet, genaue Vorhersagen zu machen und dabei die natürliche Reihenfolge der Zufriedenheitsniveaus beizubehalten.

#Modellaufbau

Um unsere Vorhersagen zu erstellen, haben wir ein grosses Sprachmodell (LLM) verwendet, das mit Anruftranskripten trainiert wurde. Dieses Modell liefert binäre Ausgaben: hohe oder niedrige Zufriedenheit. Wir verwenden dann die Wahrscheinlichkeiten aus diesem Modell, um unsere pCSAT-Werte auszugeben. Durch sorgfältiges Setzen der Entscheidungsgrenzen können wir diese Wahrscheinlichkeiten genau auf einer Skala von 1-5 abbilden.

Unsere Produktanforderungen sind klar: Sicherstellen, dass der durchschnittliche pCSAT mit dem durchschnittlichen Umfrage-CSAT übereinstimmt. Wir wollen keine wilden Abweichungen.

#Datensammlung

Wir haben uns auf Transkripte unserer Automatic Speech Recognition Engine verlassen, die eine solide Genauigkeitsrate hat. Wir haben etwa 892.000 Anrufe mit bekannten Zufriedenheitswerten analysiert. Um sicherzustellen, dass wir nicht nur Glück hatten, haben wir unsere Tests mehrmals unter verschiedenen Bedingungen durchgeführt.

Wir haben auch darauf geachtet, Callcenter mit zu wenigen Antworten auszuschliessen. Das hilft uns, unnötige Fehler durch Stichprobenrauschen zu vermeiden und uns auf Center mit einer guten Menge an Feedback zu konzentrieren.

#Die Magie der Schwellenwertoptimierung

Unser Modell verwendet eine Abbildungsfunktion, die eine niedrige Zufriedenheitswahrscheinlichkeit als Eingabe nimmt und einen Wert auf einer 1-5 Skala erzeugt. Die Abbildung besteht aus Entscheidungsgrenzen, die verschiedene Zufriedenheitsniveaus trennen. Durch die Schätzung dieser Schwellenwerte können wir den Sweet Spot finden, um Fehler zu minimieren und gleichzeitig die Bedürfnisse verschiedener Callcenter zu berücksichtigen.

#Wie wir getestet haben

Wir haben unser Modell durch verschiedene Szenarien laufen lassen, um zu sehen, wie gut es abschneidet. In den ersten Tests haben wir die durchschnittlichen Zufriedenheitsniveaus betrachtet. Nachdem wir unsere Vorhersagen mit den tatsächlichen Umfrageergebnissen verglichen haben, haben wir gesehen, wo wir uns verbessern konnten.

Für Center mit vielen Rückmeldungen haben wir einen Trend bemerkt: je mehr Feedback wir hatten, desto genauer wurden unsere Vorhersagen. Das macht Sinn; weniger Feedback bedeutet mehr Rauschen, was Vorhersagen verwirren kann.

#Ergebnisse und Beobachtungen

Insgesamt haben unsere Tests gezeigt, dass die Methode, die wir entwickelt haben, effektiv war, um die Kundenzufriedenheit vorherzusagen. Die Verlustquoten variierten je nach Antwortvolumen der Callcenter. Es war klar, dass für Centers mit weniger Rückmeldungen unser Modell mehr Schwierigkeiten hatte. Trotzdem haben wir für Centers mit einer anständigen Menge an Feedback beeindruckende Ergebnisse erzielt.

#Feinabstimmung für verschiedene Center

Wir haben gelernt, dass ein hybrider Ansatz vorteilhaft sein könnte. Für Callcenter mit weniger als 200 Rückmeldungen könnten wir eine Methode verwenden, während wir für grössere Centers auf eine andere zurückgreifen. Diese Strategie stellt sicher, dass wir die genauesten Vorhersagen machen, egal wie viele Kunden sich die Zeit nehmen, um zu antworten.

#Ethische Überlegungen

Bei der Entwicklung dieser Methode standen die ethischen Aspekte im Vordergrund. Wir möchten sicherstellen, dass unser Ansatz fair und transparent ist.

Wir berücksichtigen aktiv Vorurteile in unseren Vorhersagen und verwenden verschiedene Methoden, um Gruppen von Nutzern zu bewerten. Unser Engagement für Transparenz bedeutet, dass wir unsere Prozesse und Ergebnisse klar dokumentiert haben, damit jeder versteht, wie wir zu unseren Ergebnissen gekommen sind.

Im Sinne der vollständigen Offenlegung halten wir uns an strenge Datenschutzbestimmungen und stellen sicher, dass alle von uns verwendeten Kundendaten anonymisiert sind. Ausserdem sorgen wir dafür, dass wir persönliche Informationen entfernen, um die Privatsphäre der einzelnen Personen zu schützen.

#Fazit

Indem wir unsere Methoden zur Vorhersage der Kundenzufriedenheit in Callcentern verbessern, wollen wir Unternehmen helfen, bessere Entscheidungen für Coaching und Nachverfolgung zu treffen. Dies führt wiederum zu zufriedeneren Kunden und besserer Gesamtleistung für Callcenter.

Also, beim nächsten Mal, wenn du einen Anruf bekommst und jemand dich bittet, deine Zufriedenheit auf einer Skala von 1 bis 5 zu bewerten, denk dran: Dieses Feedback zählt, auch wenn du keinen Bock hast, den Fragebogen auszufüllen. Deine Gedanken helfen mit zu formen, wie Callcenter sich verbessern können und deinen nächsten Anruf ein bisschen besser machen.

Am Ende versuchen wir einfach, alle Kunden zum Lächeln zu bringen – keine leichte Aufgabe, aber dafür sind wir da!