Prompt-Learning mit kleinen Sprachmodellen für die Textklassifikation nutzen

In der heutigen digitalen Welt wird jeden Tag riesig viel Textdaten aus verschiedenen Quellen wie sozialen Medien, Kundeninteraktionen und Online-Diskussionen generiert. Unternehmen und Forscher müssen oft diese Daten sinnvoll auswerten. Eine wichtige Methode dafür ist die Textklassifikation, die hilft, Textinhalte in einer sinnvollen Weise zu sortieren und zu verstehen.

Textklassifikation ist besonders wichtig in bestimmten Bereichen oder Branchen. Zum Beispiel im Kundenservice kann es helfen, die Fragen der Kunden genau zu identifizieren, um schnellere Antworten zu geben und Anfragen an die richtige Stelle weiterzuleiten. Allerdings kann es sehr herausfordernd sein, gekennzeichnete Daten zu bekommen, die für das Training von Modellen notwendig sind. Labeling braucht Zeit und oft auch Fachwissen über die Branche, was es schwierig macht, genug Daten zu sammeln.

Kürzlich haben vortrainierte Sprachmodelle grosse Fortschritte im Bereich der natürlichen Sprachverarbeitung (NLP) gemacht. Diese Modelle, die auf umfangreichen Textsammlungen trainiert werden, können komplexe Sprachmuster erfassen und für verschiedene Aufgaben angepasst werden. Die traditionellen Methoden zur Feinabstimmung dieser Modelle brauchen jedoch oft sehr viele gekennzeichnete Daten, was in bestimmten Bereichen eine Herausforderung darstellt.

Hier kommt ein neuer Ansatz namens Prompt-Learning ins Spiel. Diese Technik nutzt das umfangreiche Wissen, das bereits in vortrainierten Modellen vorhanden ist, indem sie spezifische Eingabeaufforderungen verwendet, um die Modelle auf das gewünschte Ergebnis zu lenken. Das kann besonders nützlich sein, wenn nur begrenzte gekennzeichnete Daten zur Verfügung stehen. Es gab einige Fortschritte bei den Prompt-Learning-Methoden, sowohl in Situationen mit verfügbaren Trainingsdaten als auch in Fällen, in denen keine Trainingsdaten bereitgestellt werden.

#Few-Shot Learning

Wenn nur eine kleine Anzahl an Beispielen verfügbar ist, wird die Auswahl der richtigen Proben entscheidend für effektives Lernen. Neuere Modelle haben gezeigt, dass Prompt-Learning auch mit begrenzten Daten gut funktionieren kann. Zum Beispiel können diese Modelle durch Techniken wie automatisierte Vorlagenerzeugung den Bedarf an manuellen Eingaben erheblich reduzieren. Diese Verbesserungen sind vielversprechend, insbesondere für spezielle Anwendungen wie den Kundenservice, wo es schwierig sein kann, genug gekennzeichnete Daten zu bekommen.

Andererseits gibt es auch Situationen, in denen keine Trainingsdaten verfügbar sind, bekannt als Zero-Shot-Einstellungen. In diesem Fall konzentrieren sich Forscher darauf, Eingabeaufforderungen zu entwerfen, die die Aufgabe klar erklären, sodass das Modell Vorhersagen treffen kann, ohne Trainingsbeispiele zu benötigen.

Während grosse Sprachmodelle (LLMs) derzeit das Feld dominieren, wird zunehmend anerkannt, welche Vorteile kleinere Sprachmodelle (SLMs) haben, die meist weniger als 1 Milliarde Parameter haben. Diese kleineren Modelle können für spezifische Aufgaben angepasst werden, wodurch sie flexibler und kosteneffizienter werden.

#Forschungsschwerpunkt

Das Hauptziel dieser Forschung ist es zu untersuchen, wie effektiv Prompt-Learning in Kombination mit kleinen Sprachmodellen für die Textklassifikation ist, insbesondere im Kontext von Kundeninteraktionen im Einzelhandel. Wir schauen uns an, wie die Kombination von SLMs und Prompt-Learning helfen kann, Texte mit weniger gekennzeichneten Daten genau zu klassifizieren.

Einige wichtige Ergebnisse sind:

1. In Few-Shot-Einstellungen kann die Nutzung von SLMs mit Prompt-Learning gute Ergebnisse erzielen, etwa 75% Genauigkeit, auch mit begrenzten gekennzeichneten Daten.
2. Strategien wie aktives Sampling und die Kombination verschiedener Eingabeaufforderungen können die Leistung erheblich verbessern.
3. In Zero-Shot-Situationen erzielen grössere Modelle wie GPT-3.5-turbo hohe Genauigkeit, aber auch kleinere Modelle wie FLAN-T5-large können mit passenden Eingabeaufforderungen gut performen.

Durch diese Studie geben wir Einblicke, wie Prompt-Learning angewendet werden kann, um effektive domänenspezifische Textklassifikationen zu erreichen, besonders wenn man mit begrenzten gekennzeichneten Daten arbeitet.

#Datensammlung

Für diese Studie haben wir einen Datensatz vom Kundenservice von IKEA verwendet, der textbasierte Gespräche zwischen Kunden und Agenten enthält. Dieser Datensatz umfasst über 7.000 Interaktionen, die alle gereinigt wurden, um die Privatsphäre der Kunden zu schützen. Jedes Gespräch wurde manuell in 13 verschiedene Kundenabsichten kategorisiert, wie Produktanfragen und Abrechnungsprobleme.

Der Datensatz ist unausgewogen, was bedeutet, dass einige Absichten häufiger vorkommen als andere. Um eine faire Bewertung sicherzustellen, haben wir den Datensatz in drei Teile geteilt: ein Trainings- und Entwicklungssatz, ein Validierungssatz und ein Testsatz. Der Trainingssatz wird zum Aufbau des Modells verwendet, während der Validierungssatz überprüft, wie gut das Modell funktioniert. Der Testsatz wird verwendet, um eine endgültige Massnahme für die Effektivität des Modells zu geben.

#Der Prompt-Learning-Prozess

Der Prompt-Learning-Prozess umfasst mehrere wichtige Schritte. Zuerst wird der Eingabetext mithilfe einer Eingabeaufforderung transformiert, die oft spezifische Fragen oder Anweisungen enthält. Zum Beispiel könnte ein Gespräch umformuliert werden, um zu fragen: "Worum geht es in diesem Gespräch?" Das hilft dem Modell, sich auf die wichtigen Teile des Textes zu konzentrieren.

Als nächstes versucht das Modell, die Lücken in der Eingabeaufforderung mit seinem vorhandenen Wissen zu füllen. Die beste Option wird dann dem entsprechenden Label zugeordnet. Diese Zuordnung ist entscheidend, besonders wenn es mehrere potenzielle Antworten für eine Ausgabe geben könnte.

#Aktives Few-Shot-Sampling

Anstatt zufällig Beispiele für das Few-Shot-Lernen auszuwählen, konzentrierte sich unsere Forschung darauf, die besten repräsentativen Proben für jede Kategorie aktiv auszuwählen. Wir haben ein Modell verwendet, um die Trainingsdaten zu analysieren und die repräsentativsten Beispiele zu identifizieren. Dieser aktive Sampling-Ansatz erwies sich als leistungssteigernd und zeigte, dass die durchdachte Auswahl von Trainingsdaten einen erheblichen Einfluss hat.

#Prompt- und Verbalizer-Ensemble

Verschiedene Eingabeaufforderungen oder Verbalizer können zu unterschiedlichen Ergebnissen bei der Textklassifikation führen. Um die Ergebnisse zu verbessern, haben wir untersucht, wie man mehrere Eingabeaufforderungen und Verbalizer kombinieren kann. Durch das Zusammenstellen verschiedener Vorlagen haben wir Modelle erstellt, die von verschiedenen Ansätzen profitierten, was zu einer verbesserten Gesamtleistung führte.

#Zero-Shot-Lernen

In Zero-Shot-Einstellungen haben wir verschiedene Sprachmodelle und Eingabedesigns getestet, um zu sehen, wie gut sie Texte ohne Trainingsbeispiele klassifizieren konnten. Einfachere Eingabeaufforderungen führten oft zu schlechten Leistungen, während detailliertere Eingabeaufforderungen die Ergebnisse erheblich verbesserten. Das unterstrich die Bedeutung, effektive Eingabeaufforderungen zu gestalten, die notwendigen Kontext und Klarheit bieten.

#Fazit und zukünftige Richtungen

Diese Forschung hebt die Stärken von Prompt-Learning mit kleinen Sprachmodellen für Textklassifikationsaufgaben in spezifischen Einstellungen hervor. Unsere Ergebnisse deuten darauf hin, dass diese Methode besonders mächtig sein kann, wenn gekennzeichnete Daten begrenzt sind. Durch die effektive Nutzung kleiner Modelle und die Optimierung der Eingabedesigns können Unternehmen effiziente Klassifizierer entwickeln, selbst mit minimalen Eingabedaten.

Zukünftig gibt es viele Bereiche, die es zu erkunden gilt. Weitere Arbeiten könnten die Verfeinerung von Eingabedesigns, die Anwendung dieser Techniken in anderen Branchen wie Gesundheitswesen oder Finanzen sowie die Suche nach neuen Wegen zur optimalen Nutzung kleinerer Modelle in einer Welt, die von grösseren Modellen dominiert wird, umfassen. Während sich das Feld weiter anpasst, wird das Prompt-Learning voraussichtlich eine wichtige Rolle im effizienten Management von domänenspezifischen Textdaten spielen.